1.多元梯度下降法-学习率
梯度下降的每步迭代后,代价函数的值;
下图中,当迭代数达到400时,曲线已经较为平坦,考虑下降函数以收敛;
出现如左图的曲线时,代表着可能选择了较大的学习率,使得梯度下降算法冲过了最小值
2.特征和多项式回归
(1)特征选择
定义一个自定义特征X,它是房产所占土地长和深度的积(面积),使用这个新的特征应用于房产价格预测中。
(2)多项式回归
将一个二次,三次函数更好的拟合实际数据;
下例中,如使用二次函数拟合数据,因后期二次函数曲线会下降,不符合随着面积增加,房价随之增加的常识,因此选用三次函数为更好的选择。
3.正规方程(Normal equation)
不同于梯度下降需迭代获得θ的最小值,正规方程只需一步就可获得θ最小值
使用正规方程无需使用特征缩放,梯度下降法则需要。
正规方程和梯度下降法的优缺点比较:
当n的数量小于10000时,通常考虑使用正规方程;
当n的数量大雨10000时,梯度下降法则是优先考虑的。
在线性回归这个特定计算上,正规方程速度快,很常用。
正规方程在矩阵不可逆的情况下: