梯度下降的优化方法

特征缩放（归一化）

对于一个线性回归式子
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$
若某两个特征值$x_i,x_j$之间取值范围相差悬殊，比如$x_i\in [0,2000]$而$x_j\in [-0.5,0.5]$，那么相应的${\theta }_i$的范围就会远小于${\theta }_j$，在轮廓图中呈现出两个维度比例失衡的情况。

在这种情况下，运行梯度下降算法时会让我们的求解过程十分漫长，求解点会在范围较大的那个维度向着最低点艰难跋涉，伴随着范围较小的维度的不断震荡，使得求解效率低下。

为了优化这个问题，我们就对特征值进行预处理，设特征值$x_i$的平均值为$\mu$，范围为$[a,b]$，则定义一个新的特征值$x_i^{\prime }=\frac{x_i-\mu }{b-a}$，使得新特征值的取值范围基本落在$[-1,1]$范围内，这样各维度的比例就会更加均匀，提升求解效率。

图片来自吴恩达机器学习

学习率调整

很显然，学习率太小，收敛速度会很慢，而学习率太大有可能根本收敛不了。

在实际运行梯度下降算法时，我们主要观察迭代次数-代价函数曲线，通过代价函数值随迭代次数的变化来判断我们选择的学习率是否合理。也可以设定一个阈值$\epsilon$，当一次迭代后代价函数值的变化小于$\epsilon$时认为已经收敛，但在实际运用中$\epsilon$很难确定。

当不确定到底该选多少学习率时，可以先$1,0.1,0.01,\cdots$这样试验，再根据经验做出调整。

非直线拟合

很多时候，数据点往往并不像一条直线，这时候我们会希望用一个多项式或者其他函数去拟合数据，为了能套用线性回归的方法，需要对特征值做一些处理。

比如果想拟合的是
$$y={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+\cdots +{\theta }_n{x}^n$$
我们可以令$x_1=x,x_2=x^2,\cdots ,x_n=x^n$，这样就又可以套用线性回归的梯度下降方法。

需要注意的是，这样操作过后各特征值的取值范围差距通常会变得很大，所以一般要搭配特征缩放使用。