L02_梯度下降法

0 梯度下降法推导

（1）将损失函数依据泰勒级数展开，假设在足够接近点(a,b)的区域内，则等式近似于:

（2）问题转化为:求区域内最小的L()

 (3) 由于s是常数项,则依据向量，取(u,v)的反方向是损失最小的 

（4）满足梯度下降的前提是区域要足够小，所以学习率一定要足够小才可以保证收敛(但是学习率过小会增加计算量)

（5）梯度下降法的缺点

          <1> 陷入局部最优

          <2> 求导为0是不是极值点(鞍点)

          <3> 求出的导数很小很小（约等于0，高原部分），也不是极值

1 朴素梯度下降法

是步长，代表一次走多远；L()是梯度，梯度取负是代表下降最快的方向

是步长，是梯度下降的关键

技巧:开始时由于离目标比较远故步长大一点；在一段时间后，步长应该减小以使我们接近目标并且不会跳过

目标就是逐渐的减小学习率(步长)，从而防止跳过

2 自适应梯度下降法 

n(t)不是t次方而是代表nt

整理一下得:

这里分母相当于使用前面的微分的绝对值的和来反映其二阶微分的大小，从而避免抖动

3 随机梯度下降法

相比前面的一次计算完所有样本的损失后再进行梯度下降，随机梯度下降一次只随机选取一个样本，进行梯度下降，速度更快

4 特征归一化 

使所有参数的分布尺度均一致(一般是1)

5