pytorch与随机梯度下降

1、梯度的概念

• 偏导数 ：函数在某一点某方向的变化率
  是一个标量，给定一个方向后，得到这个方向的变化率大小
• 梯度：某一点的梯度是这个点各个方向的偏导数组成的一个向量

梯度的意义

大小代表变化率，方向指向函数增长的方向。

更新参数的公式：每次减去梯度大小来求取目标函数的最小值：

凸函数、局部最小

类似一个碗的形状（二维视角）凸函数总可以找到一个全局最优解。

现实中遇到的函数却一般是这样的：
这是loss关于很多参数三维可视化后的结果。由于有很多局部最小解，较难找到全局最小解。

鞍点（saddle point）

在某一点取到一个方向的局部最大值，但同时取到另一个方向的局部最小值。

影响优化性能的其他因素

• 初始值大小
  
• 学习率大小