机器学习（李宏毅）lecture02学习笔记（Gradient Descent）

Gradient Descent

优化问题

$${\theta }^{\ast }=argmi{n}_{\theta }L(\theta )$$
$L:$Loss Function
$\theta :$参数

${\theta }^0:$随机设定
$${\theta }^0=[{\theta }_1,{\theta }_2,...,{\theta }_n{]}^T$$

$$\nabla L(\theta )=[\frac{\partial L({\theta }_1)}{\partial {\theta }_1},\frac{\partial L({\theta }_2)}{\partial {\theta }_2},...,\frac{\partial L({\theta }_n)}{\partial {\theta }_n}{]}^T$$

$${\theta }^i={\theta }^{i-1}-\eta \nabla L({\theta }^{i-1})$$

$\eta :$学习率

调整学习率

1.要画Loss下降图。

2.自动调学习率的方法

Adagrad算法：
一开始，比较大；后面减小；每个不同的参数给不同的学习率。

$$w^1=w^0-\frac{{\eta }_0}{{\sigma }^0}{g}^0$$
${\sigma }^0=\sqrt{(g^0{)}^2}$
$$w^2=w^1-\frac{{\eta }_1}{{\sigma }^1}{g}^1$$
${\sigma }^1=\sqrt{\frac{1}{2}[(g^0{)}^2+(g^1{)}^2]}$
$$...$$
$$w^{t+1}=w^t-\frac{{\eta }_t}{{\sigma }^t}{g}^t$$
${\sigma }^t=\sqrt{\frac{1}{t+1}{\sum }_{i=0}^t(g^i{)}^2}$

令${\eta }^t=\frac{\eta }{\sqrt{t+1}}$，则：
$$w^{t+1}=w^t-\frac{\eta }{\sqrt{{\sum }_{i=0}^t(g^i{)}^2}}{g}^t$$

Stochastic Gradient Descent（随机梯度下降）:

普通梯度下降：
$$L=\sum _n({\hat{y}}^n-(b+\sum w_i{x}_i^n){)}^2$$
$${\theta }^i={\theta }^{i-1}-\eta \nabla L({\theta }^{i-1})$$
随机梯度下降：
随机选一个样本$x^n$，每个样本都更新一次参数
$$L^n=\sum _n({\hat{y}}^n-(b+\sum w_i{x}_i^n){)}^2$$
$L^n$：对一个样本的Loss。
$${\theta }^i={\theta }^{i-1}-\eta \nabla L^n({\theta }^{i-1})$$

Feature Scaling（特征缩放）

将不同的feature的scale调到差不多。

原因：做参数更新时效率较高。

问题：

（1）局部最小值。
（2）鞍点。
（3）在高原地区比较慢。

Demo：

https://blog.csdn.net/Xiao_yanling/article/details/89300638