吴恩达ML——（四）多变量线性回归

相关概念

中	英	含义
多元线性回归	Multivariate linear regression
特征缩放	feature scaling
均值归一化	mean normalization
多项式回归	polynomial regression	将多项式函数拟合到训练集中
正规方程	normal equation	求参数θ的解析解法

房价预估问题再整理

1. m为样本数
2. n为特征数

Hypothesis

$$h_{\theta }(x)={\theta }^{T}x$$
$$\theta =[{\theta }_0,{\theta }_1\dots \dots {\theta }_n{]}^T,x=[x_0,x_1,x_2\dots \dots x_n{]}^T,x_0\equiv 1$$

Cost function

$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{(h_{\theta }(x^{(i)})-y^{(i)})}^2$$

gradient descent

$${\theta }_j:={\theta }_j-\frac{\alpha }{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$$

运算过程

梯度下降法运算技巧

特征缩放 feature scaling

对于特征x = [x₀,x₁,x₂,x₃……x_n]^T，尽量让每一种特征的取值范围都在一个相似的范围内。因为每个参数θ_j变化率和x_j有关，所以当每一种特征的取值范围相似时，参数在梯度下降过程中变化幅度也相似，不会有太大差异，这样可以加快梯度下降算法的速度，减少迭代次数，尽快收敛到最小值。

具体操作

学习率 learning rate

学习率的影响

• 当学习率很小的时候，梯度下降算法非常慢，效率低
• 当学习率很大的时候，cost function可能不会收敛，反而增大

如何反映梯度下降算法的运行情况？

• 借助迭代次数与J(θ)曲线，正常情况下，随着迭代次数的增加，J(θ)越来越小趋近于最小值。
• 如果出现其他情况，排除代码本身逻辑错误，一般是学习率过大需要调整。
  

学习率选择方法
尝试一系列的数据：0.001,0.003,0.01,0.03……

正规方程

可以迅速求解出当J(θ)最小的时候，对应的θ的值。不需要进行特征缩放。
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

公式推导

对比

	梯度下降	正规方程
优点	* 当特征很多的时候，梯度下降法表现很好	* 不需要学习率，不需要迭代
局限性	*需要调整学习率，是迭代算法	当n很大的时候，效率低（要进行大矩阵计算）；不适用于一些其他复杂的学习算法