李宏毅机器学习（3）

Gradient Descent

Tip1:Tuning your learning rate(η)

设$\theta$为$L(\theta )$的参数集，例：

${\theta }_0=\left[\begin{array}{c}{\theta }_{0,1}\\ {\theta }_{0,2}\end{array}\right]$
则${\theta }_{n+1}={\theta }_n-\eta \left[\begin{array}{c}\frac{\alpha L({\theta }_{n,1})}{\alpha {\theta }_1}\\ \frac{\alpha L({\theta }_{n,2})}{\alpha {\theta }_2}\end{array}\right]={\theta }_n-\eta •\nabla L(\theta )$

当参数过多时，无法visualize（可视化）函数图像。
但可以可视化不同learning rate(η)下Loss函数值的变化。

Adaptive Learning Rate:

前几次迭代时将η调大一些。因为初始时离正确答案比较远，应该加大步长。
当其不下降或者下降不明显时，再调小η值，使其步长变小，进行微调。
1/t decay就是一种做法，它的公式：${\eta }_t=\frac{\eta }{\sqrt{t+1}}$。

Adagrad（自适应梯度算法）

均方根（root mean square）：$\sqrt{\frac{x_1^2+x_2^2+...+x_n^2}{n}}$
在自适应梯度算法中，每个参数的learning rate都不相同：首先算出${\eta }_t=\frac{\eta }{\sqrt{t+1}}$，然后用${\eta }_t$除以对应参数过去所有微分值的均方根。
例：

$w_1=w_0-\frac{{\eta }_0}{{\sigma }_0}{g}_0,{\sigma }_0=\sqrt{g_0^2}$
$w_2=w_1-\frac{{\eta }_1}{{\sigma }_1}{g}_1,{\sigma }_1=\sqrt{\frac{1}{2}(g_0^2+g_1^2)}$
$w_3=w_2-\frac{{\eta }_2}{{\sigma }_2}{g}_2,{\sigma }_2=\sqrt{\frac{1}{3}(g_0^2+g_1^2+g_2^2)}$
因此，$w_{t+1}=w_t-\frac{{\eta }_t}{{\sigma }_t}{g}_t,{\sigma }_t=\sqrt{\frac{1}{t+1}{\sum }_{i=0}^t{g}_i^2},{\eta }_t=\frac{\eta }{\sqrt{t+1}}$

当然，除了Adagrad之外，还有其他的做法。

Tip2：Stochastic Gradient Descent(Make training faster)

Gradient Descent:

$L={\sum }_n({\hat{y}}_n-(b+\sum w_i{x}_{n,i}){)}^2,{\theta }_n={\theta }_{n-1}-\eta ▽L({\theta }_{n-1})$

SGD:

随机选一个example $x_n$
$L_n=({\hat{y}}_n-(b+\sum w_i{x}_{n,i}){)}^2,{\theta }_n={\theta }_{n-1}-\eta ▽L_n({\theta }_{n-1})$
即只考虑一个example来计算Loss函数，这样可以使计算更快，一般不会影响准确度。

Tip3:Feature Scaling（特征缩放）

为什么要缩放

$y=b+w_1{x}_1+w_2{x}_2$把$x_1$，$x_2$比例缩放成相同的数量级。

举例来说：

左图中$x_2$规模较大，则对于同样的变化值$△w$，改变$w_2$比改变$w_1$对$y$的影响更大，画出图像是一个椭圆。
右图中，将$x_2$缩放成了与$x_1$相同的规模，图像变成了一个圆。在Gradient Descent中，圆比椭圆更容易下降。

怎么缩放

$m_i$为$x_{1,i},x_{2,i},...,x_{R,i}$的平均值（mean）
${\sigma }_i$为标准差（Standard Deviation）
则$x_{r,i}^{{}^{\prime }}=\frac{x_{r,i}-m_i}{{\sigma }_i}$

Theory 为什么可以这么做

考虑泰勒级数（Taylor Series）
$L(\theta )\approx L(a,b)+\frac{\alpha L(a,b)}{\alpha {\theta }_1}({\theta }_1-a)+\frac{\alpha L(a,b)}{\alpha {\theta }_2}({\theta }_2-b)$
设$S=L(a,b),u=\frac{\alpha L(a,b)}{\alpha {\theta }_1},v=\frac{\alpha L(a,b)}{\alpha {\theta }_2}({\theta }_2-b)$，则$L(\theta )\approx S-ua-vb+u{\theta }_1+v{\theta }_2$
而$({\theta }_1,{\theta }_2)\in ○({\theta }_1-a{)}^2+({\theta }_2-b{)}^2\le d^2$，为了$L$取最小值，$({\theta }_1-a,{\theta }_2-b)$应该与$(u,v)$方向相反。

即$\left[\begin{array}{c}△{\theta }_1\\ △{\theta }_2\end{array}\right]=-\eta \left[\begin{array}{c}u\\ v\end{array}\right]——>\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right]=\left[\begin{array}{c}a\\ b\end{array}\right]-\eta \left[\begin{array}{c}u\\ v\end{array}\right]$
当然，如果泰勒展开到二次项或更多，还有其他的方法。