《机器学习》学习笔记（二）-- Gradient Descent

1. Gradient Descent图解
2. Learning rate
3. Adagrad
4. Stochastic Gradicent Descent
5. Feature scaling
6. 泰勒展开推到Gradient Descent

1.Gradinet Descent图解

将gradient descent在投影到二维坐标系中可视化：

– 红色箭头表示（θ1，θ2）这点的梯度，梯度方向即箭头方向（从低处到高出，梯度大小即箭头长度）。
– 蓝色箭头代表的则是实际情况下θ1和θ2的更新过程图，每次更新沿着蓝色箭头方向loss会减小。

因此在整个gradient descent的过程中，梯度不一定是递减的，箭头的长度也可以长短不一，但是沿着梯度下降的方向，函数值loss一定是递减的，当gradient=0时，loss则下降到局部最小值

通俗来书，gradient梯度可以理解为高度上升最快的哪个方向，它的反方向自然就是梯度下降最快的方向，于是update沿着梯度反方向。

2.Learning rate
在gradient descent的过程中，learning rate也是影响结果的一个关键因素

• 如果learning rate取值合适，就可以向上图中红色线段一样顺利达到loss的最小值
• 如果learning rate太小，虽然还是能走到最小的地方，但是会走的非常慢，像蓝色一样
• 如果太大的话，就有可能像绿色线段一样，跳过了最小值
• 如果非常大，甚至可能在一瞬间飞出去，像黄色线段一样。结果就是每次update参数以后，loss反而越来越大

当然，我们也可以动态地调整learning rate–Adaptive Learning rates
主要原则：learning rate通常是随着参数地update越来越小的

因为在起始点时，通常是离最低点比较远，此时步伐就要大一点，当越接近目标时，为了防止跳过了目标，就应该减少learning rate，让其能收连载最低点

3.Adagrad
Adagra就是将不同参数地learning rate分开考虑地一种算法

这里w是function中的某个参数，t代表是第t次更新，gt是Loss对w的偏微分，而σt是之前Loss对w变为分的方均根

根据以上的一系列步骤，最后Adagrad可以化简为下式
而此时又有一个问题，对于Afdagrad的最终式，我们在做gradient descent时，希望的时当梯度之即微分值gt越大时，更新的不发也更大，但是Adagrad表达式中，分母表示梯度越大，步伐越大，分子却表示梯度越大步伐越小。

	而这一状况主要是因为Adagrad考虑的时，这个gradient有多surprise，即反差有多大

4.Stochastic Gradicent Descent
随机梯度下降的方法可以让训练更加快速，传统的gradient decent的思路是看完所有样本点之后再构建lossfunctiong，然后再更新参数；

而Stochastic gradient descemt的做法是，没看到一个点就update一次，因此它的loss function不是所有样本点的error平方和，而实这个随机样本点的error平方

两者直观对比图：

5.Feature Scaling

当多个特征的分布范围很不一样时，最好将这些不同feature的范围缩成一样–特征缩放

为什么要做特征缩放？
比如式子为y=b+w1x1+w2x2假设x1的值都很小，而x2的值都很大，如果对w1&w2都做一个同样的变动，那么w1的变化对y的影响比较小，而w2的变化对y的影响比较大

而当特征缩放了以后，loss在参数w1,w2平面上的投影就是一个正圆形，而当投影是正圆形的化，无论梯度下降方向怎么走，始终都向着圆心走，因此也会提高效率

如何做feature scaling？
假设有R个example，x1,x2,…,xr,每一笔example，其里面都有一组feature

对于每一个demension i，都去算出它的平均值mean = mi，以及标准差standard deviation = σi

对第r个example的di个component，减掉均值，除以标准差。当均值为0，标准差为1则为缩放完成

6.Gradient Decent理论基础
6.1Taylor Series

从泰勒展开式推导出Gradient descent