【机器学习】Andrew Ng——04多变量线性回归

多变量线性回归

Linear Regression with Multiple Variables

---

房屋估价问题

  在单变量线性回归一章，我们讲到了房屋估价问题，以房屋面积这一单变量来决定房屋的估价。在多变量线性回归这章，我们将会引入多特征即多个变量，例如房屋面积、卧室数量、楼层数量、房屋年龄，通过四维特征来更为准确预测房屋的价格。

  假设h(x)=θ0+θ1x1+θ2x2+…+θnxn，多参数线性回归即每个输入x有(n+1)维[x0……xn]

---

多变量的梯度下降

  左边是单变量梯度下降，右图为多变量梯度下降。

  归一化方法Feature Scaling，使得特征能够保持相同大小范围如[0,1]，避免特征值大小相差太大难以分析。如下图所示，我们将x1、x2这两个变量的值归一化至[0，1]区间。

在归一化中，用x-u替代x，其中u是数据集x的平均值，这样得到的新特征值范围将是[-0.5，0.5]。

---

学习率(Learning Rate)

  在梯度下降中，我们需要考虑的是，如何确定梯度下降方法是否准确运行以及如何选择学习率α。

  绘制图表来观测算法在何时趋于收敛，下降说明正常，若增大或来回波动，可能是α过大的问题。

  总结：如果α值太小，将会影响收敛速度，如果α值过大，可能导致收敛失败。那如何选取学习率呢？比如先测试α=0.001，如果收敛太慢就测试0.01，如果大了？那就0.003，以此类推。

---

特征与多项式回归

Features and Polynomial Regression

  假设我们的输入为一座房子的size，输出为该house的price，对其进行多项式拟合：
  有两个选择，二次方程或者三次方程。考虑到二次方程的话总会到最高点后随着size增大而price减小，不合常理；因此选用三次方程进行拟合。

  绘制好特征图像后，可能会出现多种拟合方程，而归一化则是关键，如洋红色曲线拟合所示。

---

正规方程

  正规方程Normal Equation是和gradient descent一样常用的算法,它采用线性代数中非迭代的方法。

  正规方程可以将寻找使cost function 最小的θ这一问题转化为寻找使得导数取0时的参数θ。以房屋估价问题为例，我们继续往下分析。

  其中，X是m×(n+1)的矩阵，y是m×1的矩阵。对于那些不可逆的矩阵(通常是因为特征之间不独立,或特征数量大于训练集的数量),正规方程方法是不能用的。

  如果正规方程中不可逆，可能是因为特征冗余或者特征过多，那么我们可以选择删除一些不重要的特征或使用正则化。