梯度下降算法

1.优化神经网络损失函数的最常见且已建立的算法。

2.迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。

3.利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减少。X(k+1)= X(k) - a * g(k) , 其中a称为学习速率，可以是较小的常数，g(k)是X(k)的梯度。

4.主要目的：通过迭代找到目标函数的最小值，或者收敛到最小值。

5.首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向。我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

6.梯度是微积分中一个很重要的概念，之前提到过梯度的意义：

• 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
• 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向
• 这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点

 7.我们需要定义一个代价函数，在此我们选用均方误差代价函数（也称平方误差代价函数）

                                

• m是数据集中数据点的个数，也就是样本数
• ½是一个常量，这样是为了在求梯度的时候，二次方乘下来的2就和这里的½抵消了，自然就没有多余的常数系数，方便后续的计算，同时对结果不会有影响
• y 是数据集中每个点的真实y坐标的值，也就是类标签
• h 是我们的预测函数（假设函数），根据每一个输入x，根据Θ 计算得到预测的y值