深度学习与PyTorch笔记12

随机梯度下降

什么是梯度

导数（derivate）：反映y随x变化的趋势。标量$d$
偏微分（partial derivate）：一个函数对其自变量的变化的描述程度。标量$\partial$。导数的特殊情况。
$$z=y^2-x^2$$
$$\frac{\partial z}{\partial x}=-2x\frac{\partial z}{\partial y}=2y$$
梯度（gradient）：所有的偏微分组成的一个向量。$$\nabla f=(\frac{\partial f}{\partial x_1};\frac{\partial f}{\partial x_2};...;\frac{\partial f}{\partial x_n})$$
1、梯度的长度从某种反面反映了函数变化的趋势，增长的速率。
2、梯度的方向代表函数增长的方向。

How to search for minima?

$${\theta }_{t+1}={\theta }_t-{\alpha }_t\nabla f({\theta }_t)$$
${\theta }_t$函数当前值，$\nabla f({\theta }_t)$当前值梯度，${\alpha }_t$一个比较小的learning rate。
举个栗子：
function:
$$J({\theta }_1,{\theta }_2)={\theta }_1^2+{\theta }_2^2$$
objective:
$$\underset{{\theta }_1,{\theta }_2}{\min }J({\theta }_1,{\theta }_2)$$
update rules:
$${\theta }_1^{{}^{\prime }}={\theta }_1-\alpha \frac{d}{d{\theta }_1}J({\theta }_1,{\theta }_2)$$
$${\theta }_2^{{}^{\prime }}={\theta }_2-\alpha \frac{d}{d{\theta }_2}J({\theta }_1,{\theta }_2)$$
derivatives:
$$\frac{d}{d{\theta }_1}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_1}{\theta }_1^2+\frac{d}{d{\theta }_1}{\theta }_2^2=2{\theta }_1$$
$$\frac{d}{d{\theta }_2}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_2}{\theta }_1^2+\frac{d}{d{\theta }_2}{\theta }_2^2=2{\theta }_2$$
初始化$\theta$值，$\alpha$可以取0.001代入公式求解。
影响搜索过程：
1、local minima：局部极小值
2、saddle point：鞍点
3、initialization status：初始状态，一定要初始化，学习何凯明的方法
4、learning rate：学习率，影响收敛速度和精度，一定要小
5、momentum ：动量，怎么逃离局部极小值，添加一个动量，可以理解为惯性，下降时惯性大可以把参数从局部极小值推出去。
6、etc.

常见函数梯度

一维函数

common functions	function	derivative
constant	$c$	$0$
line	$x$	$1$
	$ax$	$a$
square	$x^2$	$2x$
square root	$\sqrt{x}$	$(1/2)x^{-1/2}$
exponential	$e^x$	$e^x$
	$a^x$	$(lna)a^x$
logarithms	$ln(x)$	$1/x$
	$lo{g}_{a}x$	$1/(xln(a))$
trigonometry	$sin(x)$	$cos(x)$
	$cos(x)$	$-sin(x)$
	$tan(x)$	$se{c}^2(x)$

激活函数与Loss的梯度

激活函数及其梯度

sigmoid/logistic

$$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$$
连续，光滑，压缩到（0，1），概率$Prob\in [0,1]$，像素值$RGB\in [0,1]$。
致命缺陷：在正无穷或负无穷处，$\sigma$的导数趋近于0，参数长时间得不到更新，出现梯度离散现象。
求导：
$$\frac{d}{dx}\sigma (x)=\frac{d}{dx}(\frac{1}{1+e^{-x}})=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\frac{(1+e^{-x})-1}{(1+e^{-x}{)}^2}=\frac{1+e^{-x}}{(1+e^{-x}{)}^2}-(\frac{1}{1+e^{-x}}{)}^2=\sigma (x)-\sigma (x{)}^2$$
$${\sigma }^{{}^{\prime }}=\sigma (1-\sigma )$$

tanh

$$f(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=2sigmoid(2x)-1$$
在RNN中用的比较多。范围[-1,1]。
$$\frac{d}{dx}tanh(x)=\frac{(e^x+e^{-x})(e^x+e^{-x})-(e^x-e^{-x})(e^x-e^{-x})}{(e^x+e^{-x}{)}^2}=1-\frac{(e^x-e^{-x}{)}^2}{(e^x+e^{-x}{)}^2}=1-tan{h}^2(x)$$

rectified linear unit（ReLU）

目前使用最多，简单有效。
$$f^{{}^{\prime }}(x)=\{\begin{array}{ll}0& \text{for x<0}\\ x& \text{for x≥0}\end{array}$$
梯度不变，不容易出现梯度离散和梯度爆炸。

LOSS及其梯度

两种常见LOSS。

mean squared error（MSE）

均方差。
$$loss=\sum [y-(xw+b){]}^2$$
$$L2norm=||y-(xw+b)|{|}_2$$(各元素相减的差的平方和再开根号)
$$loss=norm(y-(xw+b){)}^2$$
求导：
$$loss=\sum [y-f_{\theta }(x){]}^2$$
$$\frac{\nabla loss}{\nabla \theta }=2\sum [y-f_{\theta }(x)]\ast \frac{\nabla f_{\theta }(x)}{\nabla \theta }$$
使用pytorch自动求导：
1、torch.autograd.grad(loss.[w1,w2,…])
$pred=x\ast w+b$，使用F.mse_loss(pred,label)函数，得到$(y-pred{)}^2$，再使用torch.autograd.grad(pred,[w])函数进行求导，但是直接求导会出错，说w参数是不需要求导的，那是因为w初始化的时候没有设置为是需要导数信息的，此时需要对w参数进行更新，使用w.requires_grad_()#_此符号会对w进行更新，告诉pytorch这个w变量是需要grad信息的函数来更新，由于pytorch是做一步计算一步图的，所以还需要对图进行更新。w除了用此方法设置梯度信息外还可以用w=torch.tensor([Initial value],requiregrad=True)来设置。

2、loss.backward()
loss.backward()backword表示向后传播，在完成前面的建图后，pytorch会记录下来图的所有路径，在loss最后的节点调用backward时会自动的往后，从后往前传播，完成这条路径上所有的需要梯度的tensor的梯度的计算方法，计算出来的梯度不会再返回出来，它会自动的把所有的梯度信息附加在每一个tensor的成员变量.grad上。

w.norm返回的是tensor本身的一个L2norm，w.grad.norm()返回的是w梯度的norm。

cross entropy loss

用于分类，既可以用于二分类，也可以用于多分类，一般与softmax搭配使用。这里只介绍一下softmax函数。
softmax函数每一个值的区间满足[0,1]，所有值加起来的和等于1，非常适合多分类的情况。
$$S(y_i)=\frac{e^{y_i}}{{\sum }_j{e}^{y_j}}$$
把大距离变得更大，小距离变得更小。
$$p_i=\frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}$$
when $i=j$，
$$\frac{\partial p_i}{\partial a_j}=\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}}{\partial a_j}$$
$$f(x)=\frac{g(x)}{h(x)}$$
$$f^{{}^{\prime }}(x)=\frac{g^{{}^{\prime }}(x)h(x)-h^{{}^{\prime }}(x)g(x)}{h(x{)}^2}$$
$$g(x)=e^{a_i}$$
$$h(x)=\sum _{k=1}^N{e}^{a_k}$$
$$\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}}{\partial a_j}=\frac{e^{a_i}{\sum }_{k=1}^N{e}^{a_k}-e^{a_j}{e}^{a_i}}{({\sum }_{k=1}^N{e}^{a_k}{)}^2}=\frac{e^{a_i}({\sum }_{k=1}^N{e}^{a_k}-e^{a_j})}{({\sum }_{k=1}^N{e}^{a_k}{)}^2}=\frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}\times \frac{({\sum }_{k=1}^N{e}^{a_k}-e^{a_j})}{{\sum }_{k=1}^N{e}^{a_k}}=p_i(1-p_j)$$
$\because i=j\therefore \frac{\partial p_i}{\partial a_j}=p_j(1-p_j)$
当 $i$不等于$j$，
$$\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}}{\partial a_j}=\frac{0-e^{a_j}{e}^{a_i}}{({\sum }_{k=1}^N{e}^{a_k}{)}^2}=\frac{-e^{a_j}}{{\sum }_{k=1}^N{e}^{a_k}}\times \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}=-p_j{p}_i$$

F.softmax(tensor,dim=d)一定要指定维度。

retain_graph=True标志只能保留一次，图就会被清掉。grad和backward后面的loss一定是dim为1长度为1的。