机器学习05_吴恩达版学习笔记

1.多元梯度下降法-学习率

 

梯度下降的每步迭代后，代价函数的值；

下图中，当迭代数达到400时，曲线已经较为平坦，考虑下降函数以收敛；

 

出现如左图的曲线时，代表着可能选择了较大的学习率，使得梯度下降算法冲过了最小值

2.特征和多项式回归

（1）特征选择

定义一个自定义特征X，它是房产所占土地长和深度的积（面积），使用这个新的特征应用于房产价格预测中。

  

（2）多项式回归

将一个二次，三次函数更好的拟合实际数据；

      下例中，如使用二次函数拟合数据，因后期二次函数曲线会下降，不符合随着面积增加，房价随之增加的常识，因此选用三次函数为更好的选择。

  

3.正规方程（Normal equation）

 不同于梯度下降需迭代获得θ的最小值，正规方程只需一步就可获得θ最小值

使用正规方程无需使用特征缩放，梯度下降法则需要。

正规方程和梯度下降法的优缺点比较:

当n的数量小于10000时，通常考虑使用正规方程；

当n的数量大雨10000时，梯度下降法则是优先考虑的。

在线性回归这个特定计算上，正规方程速度快，很常用。

正规方程在矩阵不可逆的情况下：