CS229学习笔记(2)多变量线性回归

一. 多变量线性回归

1.多维特征

我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为$\left(x_1,x_1,\dots ,x_n\right)$。

新的注释：
$n$代表特征的数量

$x^{(i)}$代表第 $i$个训练实例，是特征矩阵中的第$i$行，是一个向量（vector）。

比方说，上图的

$$x^{(2)}=\left[\begin{array}{c}1416\\ 3\\ 2\\ 40\end{array}\right]$$

$x_j^{(i)}$代表特征矩阵中第 $i$ 行的第 $j$个特征。如上图的，$x_2^{(2)}=3,x_3^{(2)}=2$。

假设$h$表示为：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$
这个公式中有$n+1$个参数和$n$个变量,为了使得公式能够简化一些，引入$x_0=1$,则公式转化为：$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$

$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\in {\mathbb{R}}^{n+1}$      $\theta =\left[\begin{array}{l}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right]\in {\mathbb{R}}^{n+1}$
$-$ $-$ $-$ $\to$     $\underset{(n+1)\times 1}{\underbrace{\left[{\theta }_0{\theta }_1\dots {\theta }_n\right]}}\left[\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_n\end{array}\right]$

此时模型中的参数是一个$n+1$维的向量，任何一个训练实例也都是$n+1$维的向量，特征矩阵X的维度是$m\ast (n+1)$ 。 因此公式可以简化为：$h_{\theta }(x)={\theta }^{T}X$，其中上标$T$代表矩阵转置。

2.多变量梯度下降

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：
$$J\left({\theta }_0,{\theta }_1\dots {\theta }_n\right)=\frac{1}{2m}\sum _{i=1}^M{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$
其中：
$$h_{\theta }(x)={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$$
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为：
 Repeat  { θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 , … , θ n ) } \begin{array}{c}{\text { Repeat }\{ } \\ {\theta_{\mathrm{j}} :=\theta_{\mathrm{j}}-\alpha \frac{\partial}{\partial \theta_{j}} \mathrm{J}\left(\theta_{0}, \theta_{1}, \ldots, \theta_{\mathrm{n}}\right)} \\ {\}}\end{array}  Repeat {θj​:=θj​−α∂θj​∂​J(θ0​,θ1​,…,θn​)}​
即：
R e p e a t { Repeat \{ Repeat{
$${\theta }_{\mathrm{j}}:={\theta }_{\mathrm{j}}-\alpha \frac{\partial }{\partial {\theta }_{\mathrm{j}}}\frac{1}{2\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}{\left({\mathrm{h}}_{\theta }\left({\mathrm{x}}^{(\mathrm{i})}\right)-{\mathrm{y}}^{(\mathrm{i})}\right)}^2$$
$\}$
求导数后得到：
 repeat until convergence:  { θ j : = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) ⋅ x j ( i )  for  j : = 0 , 1 … n } \begin{array}{l}{\text { repeat until convergence: }\{ } \\ {\theta_{j} :=\theta_{j}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x_{j}^{(i)} \quad \text { for } \mathbf{j} :=0,1 \ldots \mathrm{n}} \\ {\}}\end{array}  repeat until convergence: {θj​:=θj​−αm1​∑i=1m​(hθ​(x(i))−y(i))⋅xj(i)​ for j:=0,1…n}​

$n>=1$（单变量线性回归时，n=1）
$$\begin{array}{rl}{\theta }_0& :={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x_0^{(i)}\\ {\theta }_1& :={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x_1^{(i)}\\ {\theta }_2& :={\theta }_2-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x_2^{(i)}\\ & ⋮\\ {\theta }_n& :={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x_n^{(i)}\end{array}$$
当然，同单变量梯度下降一样，计算时需要同时更新所有参数。
$$h_{\theta }(x)={\theta }^{T}x$$
则得到同时更新参数的向量化(Vectorization)实现：
$$\theta =\theta -\alpha \frac{1}{m}\left(X^T(X\theta -y)\right)$$
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

代码示例：

$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$

其中： $h_{\theta }(x)={\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$

Python 代码：

def computeCost(X, y, theta):
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

3.梯度下降法实践：特征缩放

面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。这个做法就跟我们数学中转换坐标系一样，只是让计算更快而已，并不是对结果有影响。

以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间(这个数到底是不是-1和+1这个区间并不是很重要，我们可以根据情况自己决定)。如图：

均值归一化(Mean normalization):

最简单的方法是令：$x_n=\frac{x_2-{\mu }_{\mathrm{n}}}{s_{\mathrm{n}}}$其中 ${\mu }_n$是平均值，$s_n$是标准差。

4.梯度下降法实践：学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，但通常看上面这样的图表更好。

梯度下降算法的每次迭代受到学习率的影响，如果学习率$\alpha$过小，则达到收敛所需的迭代次数会非常高；如果学习率$\alpha$过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。


通常可以考虑尝试些学习率：
$$\alpha =0.01,0.03,0.1,0.3,1,3,10$$

5.特征和多项式回归(Features and Polynomial Regression)

还是房价预测问题：特征选取时，我们也可以自己归纳总结，定义一个新的特征，用来取代或拆分旧的一个或多个特征。比如，对于房屋面积特征来说，我们可以将其拆分为长度和宽度两个特征，反之，我们也可以合并长度和宽度这两个特征为面积这一个特征。

$h_{\theta }(x)={\theta }_0+{\theta }_1\times \text{ frontage }+{\theta }_2\times \text{ depth }$
$x_1=\text{ frontage }，x_2=\text{ depth }$

线性回归只能以直线来对数据进行拟合，有时候需要使用曲线来对数据进行拟合，即多项式回归(Polynomial Regression)。
线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，
比如一个二次方模型：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2$
或者三次方模型： $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3$

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：

$x_2=x_2^2,x_3=x_3^3$，从而将模型转化为线性回归模型。

根据函数图形特性，我们还可以使：$h_{\theta }(x)={\theta }_0+{\theta }_1(size)+{\theta }_1(size{)}^2$或者$h_{\theta }(x)={\theta }_0+{\theta }_1(size)+{\theta }_1\sqrt{size}$

在使用多项式回归时，要记住非常有必要进行特征缩放，比如$x_1$的范围为 1-1000，那么$x_1^2$的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。

或许这个地方你会很疑惑，这里的特征这么多，特征的选择方式也有这么多，我们究竟应该如何选择应该使用什么特征呢？在后面的笔记中，我们会学到一些算法，它们可以自动选择使用什么特征，决定到底使用二次函数还是三次函数…

6.正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。如：
$\begin{array}{l}\text{ Intuition: If }1\mathrm{D}(\theta \in \mathbb{R})\\ \to J(\theta )=a{\theta }^2+b\theta +c\end{array}$

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的$:\frac{\partial }{\partial {\theta }_j}J\left({\theta }_j\right)=0$ 。

$m=4$

ps:加了一列全是1的$x_0$是因为这个就可以计算出代价函数的第一个参数${\theta }_0$。

假设我们的训练集特征矩阵为 $X$（包含了$x_0=1$ ）并且我们的训练集结果为向量 $y$，则利用正规方程解出向量$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$ 。 上标T代表矩阵转置，上标-1 代表矩阵的逆。设矩阵$A=X^{T}X$，则${\left(X^{T}X\right)}^{-1}=A^{-1}$

$$X=\left[\begin{array}{lllll}1& 2104& 5& 1& 45\\ 1& 1416& 3& 2& 40\\ 1& 1534& 3& 2& 30\\ 1& 852& 2& 1& 36\end{array}\right]$$
即：
$$\begin{array}{cccccc}X(0)& X(1)& X(2)& X(3)& X(4)& y\\ 1& 2104& 5& 1& 45& 460\\ 1& 1416& 3& 2& 40& 232\\ 1& 1534& 3& 2& 30& 315\\ 1& 852& 2& 1& 36& 178\end{array}$$
运用正规方程方法求解参数：
$${\left(\left[\begin{array}{cccc}1& 1& 1& 1\\ 2104& 1416& 1534& 852\\ 5& 3& 2& 2\\ 1& 2& 30& 36\end{array}\right]\times \left[\begin{array}{ccccc}1& 2104& 5& 1& 45\\ 1& 1416& 3& 2& 40\\ 1& 1534& 3& 2& 30\\ 1& 852& 2& 1& 36\end{array}\right]\right)}^{-1}$$
$\times \left[\begin{array}{cccc}1& 1& 1& 1\\ 2104& 1416& 1534& 852\\ 5& 3& 3& 2\\ 1& 2& 2& 1\\ 45& 40& 30& 36\end{array}\right]\times \left[\begin{array}{c}460\\ 232\\ 315\\ 178\end{array}\right]$

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

梯度下降与正规方程的比较：

总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法，我们会看到，实际上对于那些算法，并不能使用标准方程法。对于那些更复杂的学习算法，我们将不得不仍然使用梯度下降法。因此，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。或者我们以后在课程中，会讲到的一些其他的算法，因为标准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型，标准方程法是一个比梯度下降法更快的替代算法。所以，根据具体的问题，以及你的特征变量的数量，这两种算法都是值得学习的。

正规方程的python实现：

import numpy as np
def normalEqn(X, y):  
   theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
   return theta

7.正规方程及不可逆性（可选）

$$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$$

当计算 $\theta =inv(X^{\prime }X)X^{\prime }y$，那对于矩阵$X^{\prime }X$的结果是不可逆的情况咋办呢?

有些矩阵可逆，而有些矩阵不可逆。我们称那些不可逆矩阵为奇异或退化矩阵。 问题的重点在于$X^{\prime }X$的不可逆的问题很少发生。
例如，在预测住房价格时，如果是$x_1$以英尺为尺寸规格计算的房子，是以平方米为尺寸规格计算的房子，同时，你也知道1米等于3.28英尺 ( 四舍五入到两位小数 )，这样，你的这两个特征值将始终满足约束：$x_1=x_2\ast (3.28{)}^2$。 实际上，你可以用这样的一个线性方程，来展示那两个相关联的特征值，矩阵$X^{\prime }X$将是不可逆的。

第二个原因是，在你想用大量的特征值，尝试实践你的学习算法的时候，可能会导致矩阵的结果是不可逆的。 具体地说，在$m$小于或等于n的时候，例如，有$m$等于10个的训练样本也有$n$等于100的特征数量。要找到适合的$n+1$维参数矢量$\theta$，这将会变成一个101维的矢量，尝试从10个训练样本中找到满足101个参数的值，这工作可能会让你花上一阵子时间，但这并不总是一个好主意。因为，正如我们所看到你只有10个样本，以适应这100或101个参数，数据还是有些少。

如何使用小数据样本以得到这100或101个参数，通常，我们会使用一种叫做正则化的线性代数方法，通过删除某些特征或者是使用某些技术，来解决当$m$比$n$小的时候的问题。即使你有一个相对较小的训练集，也可使用很多的特征来找到很多合适的参数。 总之当你发现的矩阵$X^{\prime }X$的结果是奇异矩阵，或者找到的其它矩阵是不可逆的，我会建议你这么做。

首先，看特征值里是否有一些多余的特征，像这些和是线性相关的，互为线性函数。同时，当有一些多余的特征时，可以删除这两个重复特征里的其中一个，无须两个特征同时保留，将解决不可逆性的问题。因此，首先应该通过观察所有特征检查是否有多余的特征，如果有多余的就删除掉，直到他们不再是多余的为止，如果特征数量实在太多，我会删除些 用较少的特征来反映尽可能多内容，否则我会考虑使用正规化方法。 如果矩阵$X^{\prime }X$是不可逆的，（通常来说，不会出现这种情况），如果在Octave里，可以用伪逆函数pinv() 来实现。这种使用不同的线性代数库的方法被称为伪逆。即使$X^{\prime }X$的结果是不可逆的，但算法执行的流程是正确的。总之，出现不可逆矩阵的情况极少发生，所以在大多数实现线性回归中，出现不可逆的问题不应该过多的关注$X^{T}X$是不可逆的。

$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$的推导过程：

$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$
其中：
$$h_{\theta }(x)={\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$$
将向量表达形式转为矩阵表达形式，则有$J(\theta )=\frac{1}{2}(X\theta -y{)}^2$ ，其中$x$为$m$行$n$列的矩阵（$m$为样本个数，$n$为特征个数），为行1列的矩阵，$\theta$为$n$行1列的矩阵，对进行如下变换:
$$\begin{array}{l}J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\\ =\frac{1}{2}\left({\theta }^T{X}^T-y^T\right)(X\theta -y)\\ =\frac{1}{2}\left({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta -y^{T}y\right)\end{array}$$
​接下来对$J(\theta )$偏导，需要用到以下几个矩阵的求导法则:

$$\begin{array}{l}\frac{dAB}{dB}=A^T\\ \frac{d{X}^{T}AX}{dX}=2AX\end{array}$$

所以有:
$$\begin{array}{l}\frac{\partial J(\theta )}{\partial \theta }=\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-{\left(y^{T}X\right)}^T-0\right)\\ =\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-X^{T}y-0\right)\\ =X^{T}X\theta -X^{T}y\end{array}$$​
令,$\frac{\partial J(\theta )}{\partial \theta }=0$，则有$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$