Pytorch学习笔记（三）

什么是梯度

• 梯度是是由偏导数构成的向量， 梯度的方向是由最小值指向最大值。

如何更新参数

梯度优化时常见的问题：

• local minima
• Saddle point 鞍点：
  
  

影响优化表现的因素（Optimizer Performance）：

• initial Point
• Learning Rate
• Momentum(帮助摆脱局部最优点，找到全局最优)

常见函数及其求导：

激活函数及其梯度

• sigmoid/logistic :
  $$\sigma (x)=\frac{1}{1+e^{-x}}$$$${\sigma }^{\prime }=\sigma (1-\sigma )$$

torch.sigmoid(a)

• 双曲正切 Tanh
  $$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$$${\tanh }^{\prime }(x)=1-{\tanh }^2(x)$$

torch.tanh(a)

• Relu
  $$f(x)=\{\begin{array}{ll}0& x<0\\ x& x\ge 0\end{array}$$$$f^{\prime }(x)=\{\begin{array}{ll}0& x<0\\ 1& x\ge 0\end{array}$$

from torch.nn import functional as F
F.relu(a)
torch.relu(a)

典型的loss及其求导

• MSE
  $$loss=\sum [y-(xw+b)]$$