第二周:梯度下降详解
特征缩放(Feature Scaling)和均值归一化(Mean normalization):
就是对于每一个类型的数据做处理:
x−u均max(x)−min(x)
除以他们的范围是特征缩放,目的是让Cost Function更为规则(在二维的情况下是一个正圆,三维是是一个正球…),越规正的图像越有一个固定的梯度下降方向越容易收敛。
学习速率(Learning Rate):
α
的取值就决定了学习速率,过大会不收敛,过小会收敛速率慢。通常需要
0.0001,0.0003,0.001,0.003....
这样每次扩大三倍来找这个最优值。
在判断是否已经收敛到当前极小值的时候通常可以用自动收敛测试(Automatic convergence test)算法来检测,当然也可以直接观察图像(plot).
多项式回归分析(Polynomial Regression):
在做回归分析的时候,线性函数往往都不是最优的模型,所以有时候我们会观察数据,以给设定一个多项式的模型是Cost Function的值尽可能的小。在设定为多项式函数模型的时候要尤其注意特征缩放(Feature Scaling),让该数据在
n
次之后的范围在1左右。
比如对于一个
正规方程(Normal Equation):
就是通过求解一个线性方程组的方法来得到这些未知参数。
θ=(xT∗x)−1∗x∗y
可以说在特征向量的维度小于( 104 )的时候正规方程法是比,梯度下降(Gradient Descent)更优秀的方法,但是数据量过大它的复杂度会太高。