梯度下降和反向传播的理解

其实我们最终的目标，是为了得到一组权值值，使得损失函数的输出达到最小值，即求损失函数最小值，

求损失函数最小值，可以有：

1. 直接通过求它的解析解(最小二乘法，腾讯课堂视频有讲解)
2. 梯度下降法

这次我们只讲 梯度下降法，因为解析法 对于高纬度 函数 基本无解，简单的倒还是可以，见腾讯课堂视频

神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型，

而这个过程，因为梯度下降是函数值下降最快的方向，因此，

激活函数、损失函数、优化函数都分别是什么？有什么作用？

（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）

 

1.什么是梯度下降法

绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。

顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…

   

以上那个图是 二元的目标函数，即，只有X,Y两个变量（权值W），Z是损失值的目标函数，找到目标函数的最低点，就找到的损失值最低的权值是多少。

扩展阅读：

https://zhuanlan.zhihu.com/p/31167453

https://zhuanlan.zhihu.com/p/25355758

https://zhuanlan.zhihu.com/p/72040692