机器学习（Machine Learning）- 吴恩达（Andrew Ng）视频笔记 第四章

第四章

目录

4 - 1 - Multiple Features
4 - 2 - Gradient Descent for Multiple Variables
4 - 3 - Gradient Descent in Practice I - Feature Scaling
4 - 4 - Gradient Descent in Practice II - Learning Rate
4 - 5 - Features and Polynomial Regression
4 - 6 - Normal Equation
4 - 7 - Normal Equation Noninvertibility

---

4 - 1 - Multiple Features

探讨了单变量/特征的回归模型之后，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为( $x_0,x_1,...,x_n$ )。

? 代表特征的数量
${x_j}^{(i)}$代表特征矩阵中第 ? 行的第 ? 个特征，也就是第 ? 个训练实例的第 ? 个特征。
如上图的${x_2}^{(2)}$ = 3, ${x_2}^{(4)}$= 2，
支持多变量的假设 ℎ 表示为：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$

这个公式中有? + 1个参数和?个变量，为了使得公式能够简化一些，引入?0 = 1，则公式转化为：$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$
此时模型中的参数是一个? + 1维的向量，任何一个训练实例也都是? + 1维的向量，特征矩阵?的维度是 ? ∗ (? + 1)。 因此公式可以简化为：$h_{\theta }(x)={\theta }^{T}X$，其中上标?代表矩阵转置。

---

4 - 2 - Gradient Descent for Multiple Variables

与单变量线性回归类似，在多变量线性回归中也构建一个代价函数，其中代价函数是误差的平方和，即：
即：$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}{\Sigma }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}{)}^2$，
其中：$h_{\theta }(x)={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$ ，
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。
多变量线性回归的批量梯度下降算法为：
即：
求导数后得到：

当? >= 1时，
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\Sigma }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}){x_0}^i$
${\theta }_1={\theta }_1-\alpha \frac{1}{m}{\Sigma }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}){x_1}^i$
${\theta }_2={\theta }_2-\alpha \frac{1}{m}{\Sigma }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}){x_2}^i$
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

def computeCost(X, y, theta):
Cost = np.sum(np.power(((X * theta.T) - y), 2))/(2 * len(X))
return Cost

---

4 - 3 - Gradient Descent in Practice I - Feature Scaling

在面对多维特征问题的时候，要保证特征都具有相近的尺度，使得梯度下降算法能更快地收敛。以房价问题为例，假设使用房屋的尺寸和房间的数量两个特征，尺寸的值为 0-2000 平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，可以看到如下图，图会显得很扁，在此情况下梯度下降算法需要迭代非常多次才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到1 之间。如图：
最简单的方法是令：?减平均值后除以标准差

---

4 - 4 - Gradient Descent in Practice II - Learning Rate

梯度下降算法收敛所需要的迭代次数不固定，我们不能提前预知，但是可以通过绘制迭代次数和代价函数的图来预测算法在何时将会趋于收敛。

也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，但通常看图更好。
梯度下降算法的每次迭代受到学习率的影响，如果学习率?过小，则达到收敛所需的迭代次数会非常高；如果学习率?过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
通常可以考虑尝试些学习率：
? = 0.01，0.03，0.1，0.3，1，3，10

---

4 - 5 - Features and Polynomial Regression

线性回归并不可能适用于所有数据，例如有时我们需要曲线来适应我们的数据，比如一个二次方模型：$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2$
或者三次方模型： $h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3$

通常需要先观察数据然后再决定准备尝试怎样的模型。 另外，可以令：$x_2=x_2^2,x3=x_3^3$,从而将模型转化为线性回归模型。

如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

---

4 - 6 - Normal Equation

除了使用梯度下降算法外，正规方程方法是某些线性回归问题更好的解决方案。如下问题：

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：
$\frac{\partial }{\partial {\theta }_j}J({\theta }_j)=0$
假设训练集特征矩阵为 ?（包含了 $x_0$ = 1），训练集结果为向量 ?，则利用正规方程解出向量 $\theta =(X^{T}X{)}^{-1}{X}^{T}y$ 。
对于不可逆的矩阵（通常是因为特征之间不独立，也可能是特征数量大于训练集的数量），正规方程方法是不能用的。
梯度下降与正规方程的比较：

梯度下降	正规方程
需要选择学习率?	不需要选择学习率?
需要多次迭代	一次运算得出
当特征数量?大时也能较好适用	需要计算$(X^{T}X{)}^{-1}$ 通常来说当?小于10000 时是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型

综上所述，只要特征数量不大，标准方程是一个很好的计算参数?的替代方法。
具体地说，只要特征数量小于10000，我通常使用标准方程法，而不使用梯度下降法。

---

4 - 7 - Normal Equation Noninvertibility

正规方程及不可逆性

第五章 Octave 教程(Octave Tutorial)

略过