多元线性回归的情况:
符号表示方法,上标表示第几个样本,下标表示第几个特征。
多元线性回归的梯度下降:
当代价函数有多个参数时(即多个特征时):
使用梯度下降实用技巧:FeatureScaling特征缩放
Make sure features are on a similar scale收敛的快(代价函数图像很扁,收敛路径长)
缩放到-1~1范围,x0为1,一般特征值除以最大值
还可以用均值归一化:减去均值后除以(最大值-最小值),这样可以控制在-0.5~0.5范围
使用梯度下降实用技巧:LearningRate学习率alpha
收敛的判定:decreaseby less than 10-3 in one iteration.
学习率过大造成影响:
可以选0.001,0.01,0.1,1等,每隔10倍 3倍选都行,然后观察看是否收敛速度足够最好
多元线性回归的例子:房价
选择特征值,x,x平方,x三次方都行,但此时要注意归一化了。
正规化方程:Normal Equation
一种求解theta获得代价函数最小值的一次性的解析解法,不用多次迭代。
比如代价函数包括多个theta,取什么值使得最小。传统梯度下降法需要对每个theta求偏导置零(遍历)。
正规化求theta:
这种方法不需要归一化变量在同一范围。如果用梯度下降法,则归一化很重要。正规化和梯度下降做比较: