DeepLearning学习笔记-什么是神经网络及梯度下降

#DeepLearning学习笔记-什么是神经网络

神经网络由大量的人工神经元连结进行计算，能够通过外部输入对内部结构做出调整。

通过大量的有label的数据，并进行大量的训练。
当计算机的模型预测错误时，但错误的经验却是非常有价值的，通过对比预测的值和真实值的差别，把这个差别反向传递回去，将神经元向正确的方向提高一点点。在经过足够多次的训练以后，最终就能得到较为准确的模型。

---

##梯度下降(Gradient Descent)
Cost函数=（预测值-真实值）^2
简单来说，想象一个一元二次曲线，在曲线上任意一个点做切线，即得知该点的导数，然后需要使得其向着导数为0的方向下降，找到代价函数的最优解，即可找到准确的预测模型。但是在Cost函数较为复杂的时候，导数为0的点不止一个的时候，在此时就需要寻找整个函数的全局最优解，从而找到最准确的的预测模型。