机器学习

梯度下降算法的调优方法（目的：加快收敛速度）

当选择好了使用BGD、SGD、MBGD其中一个梯度下降方式后，对下降梯度算法需要进行调优，那么应该从哪些方面进行调优？

1 学习速率(Learning Rate)α调优
在θ迭代结算公式中，其中的偏导数的系数α是学习速率（Learning Rate），且α>0。

1）固定的α，α太大的话，导致迭代次数变少(因为θ增量变大)，学习速率变快，训练快。但是α不是越大越好，如果α太大的话，会导致梯度下降算法在图形的上坡和下坡上面来回震荡计算，严重的结果可能无法收敛；

2）固定的α，α太小的话，导致迭代次数变多(因为θ增量变小)，学习速率变慢，训练慢。但是α不是越小越好，如果α太小的话，会导致梯度下降算法在图形迭代到最优点处整个过程需要训练很长时间，导致训练太慢，虽然可以取得最优θ。

3）变化的α，当梯度大的时候，学习速率变大，梯度小的时候，学习速率变小。则学习速率和梯度是一个正相关，可以提高下降算法的收敛速度。α和梯度的正相关有一个比例系数，称为Fixed Learning Rate。Fixed Learning Rate一般取0.1或者0.1附件的值，可能不是最好但是一定不会太差

2选取最优的初始值θ
首先，初始值θ不同，获得的代价函数的最小值也可能不同，因为每一步梯度下降求得的只是当前局部最小而已。所以需要多次进行梯度下降算法训练，每次初始值θ都不同，然后选取代价函数取得的最小值最小的那组初始值θ。

3特征数据归一化处理
样本不相同，特征值的取值范围也一定不同。特征值的取值范围可能会导致迭代很慢。所以就要采取措施减少特征值取值范围对迭代的影响，这个措施就是对特征数据归一化。

数据归一化方法有：1）线性归一化，2）均值归一化。一般图像处理时使用线性归一化方法，比如将灰度图像的灰度数据由[0,255]范围归一化到[0,1]范围。如果原始数据集的分布近似为正态（高斯）分布，那么可以使用均值归一化对数据集进行归一化，归一化为：均值为0，方差为1的数据集。这里面采用均值归一化，均值归一化的公式如下所示：

其中μ是原始数据集的均值，σ是原始数据的标准差，求出来的归一化数据的特点是：均值为0，方差为1的数据集。

经过特征数据归一化后，梯度下降算法会在期望值为0，标准差为1的归一化特征数据上进行迭代计算θ，这样迭代次数会大大加快。

引自：https://blog.csdn.net/yato0514/article/details/82261821