吴恩达机器学习笔记_第二周

多元线性回归的情况：

符号表示方法，上标表示第几个样本，下标表示第几个特征。

 

多元线性回归的梯度下降：

当代价函数有多个参数时（即多个特征时）：

 

使用梯度下降实用技巧：FeatureScaling特征缩放

Make sure features are on a similar scale收敛的快（代价函数图像很扁，收敛路径长）

缩放到-1～1范围，x0为1，一般特征值除以最大值

还可以用均值归一化：减去均值后除以（最大值-最小值），这样可以控制在-0.5～0.5范围

 

使用梯度下降实用技巧：LearningRate学习率alpha

收敛的判定：decreaseby less than 10-3 in one iteration.

学习率过大造成影响：

 

可以选0.001，0.01，0.1，1等，每隔10倍 3倍选都行，然后观察看是否收敛速度足够最好

 

多元线性回归的例子：房价

选择特征值，x，x平方，x三次方都行，但此时要注意归一化了。

 

正规化方程：Normal Equation

一种求解theta获得代价函数最小值的一次性的解析解法，不用多次迭代。

比如代价函数包括多个theta，取什么值使得最小。传统梯度下降法需要对每个theta求偏导置零（遍历）。

 

正规化求theta：

 

这种方法不需要归一化变量在同一范围。如果用梯度下降法，则归一化很重要。正规化和梯度下降做比较：