[深度之眼机器学习训练营第四期]线性回归

基本概念

首先看一下基本的概念与符号。$x^{(i)}$表示输入变量，也就是特征，$y^{(i)}$表示输出变量，也被称为标签或目标。二者组成的元组$(x^{(i)},y^{(i)})$就表示一个训练样本，而$n$个这样的训练样本就组成了训练集，即 { ( x ( i ) , y ( i ) ) ; i = 1 , ⋯   , n } \{(x^{(i)} , y^{(i)} ); i = 1, \cdots , n\} {(x(i),y(i));i=1,⋯,n}。此外，我们使用$\mathcal{X}$表示输入值的空间，用$\mathcal{Y}$表示输出值的空间。将输入值映射到输入值的函数被称为假设（hypothesis），这些映射函数构成的集合被称为假设集，表示为$h:\mathcal{X}\mapsto \mathcal{Y}$。以线性函数为例，一个可能的假设为：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
其中，${\theta }_i$是假设的参数（或称之为权重）。显然，对于不同的假设，其参数是不同的。

机器学习的流程就是在训练集上运行学习算法，从假设集中找到一个“好”的假设$h^{\ast }$，以根据输入值预测输出值。如果我们需要预测的输出值是连续的，那么我们称之为回归问题；如果需要预测的值是离散的，那么就是分类问题。接下来，我们需要解决两个问题。第一个问题就是如何衡量假设的“好”与“坏”？第二个问题是怎样找到一个“好”的假设？

损失函数

先来看一下第一个问题，如何衡量假设的“好”与“坏”。显然，一种直观的想法是在训练集上，预测值$h_{\theta }(x)$与真实值$y$之间的误差越小越好。因此，我们定义一个函数来衡量不同参数$\theta$下每个样本的预测值$h_{\theta }(x^{(i)})$和真实值$y^{(i)}$之间的差距。这个函数就是损失函数。在回归问题中，常用的损失函数为平方误差函数：
$$J(\theta )=\frac{1}{2n}\sum _{i=1}^n{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2$$

参数学习

我们已经知道如何度量假设的“好”与“坏”，下面就需要解决第二个问题：如何找到“好”的假设，换句话说，就是如何学习出“好”的参数$\theta$。我们希望学到的参数能够使损失函数$J(\theta )$最小化。下面介绍两种学习参数的方法。

梯度下降法

梯度下降是一种最优化方法。它首先将参数初始化，然后求解对应目标函数的梯度，沿着梯度下降最快的方向更新参数，直到目标函数收敛到最小值。单步更新的公式如下：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
其中$\alpha$是学习率，也叫做步长。实现梯度下降的关键是求解$J(\theta )$对${\theta }_j$的偏导数：
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2}(h_{\theta }(x)-y{)}^2\\ & =2\cdot \frac{1}{2}(h_{\theta }(x)-y)\cdot \frac{\partial }{\partial {\theta }_j}(h_{\theta }(x)-y)\\ & =(h_{\theta }(x)-y)\cdot \frac{\partial }{\partial {\theta }_j}\left(\sum _{i=0}^d{\theta }_i{x}_i-y\right)\\ & =(h_{\theta }(x)-y)x_j\end{array}$$
因此，单个训练样本的更新规则如下：
θ j ≔ θ j − α ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) , ∀ j ∈ { 0 , 1 , ⋯   , d } \theta_j \coloneqq \theta_j - \alpha\left(h_\theta(x^{(i)})-y^{(i)}\right)x_j^{(i)},\forall j\in\{0,1,\cdots,d\} θj​:=θj​−α(hθ​(x(i))−y(i))xj(i)​,∀j∈{0,1,⋯,d}

也可以写成：
$$\theta :=\theta -\alpha \left(h_{\theta }(x^{(i)})-y^{(i)}\right)x^{(i)}$$

在使用梯度下降算法时，要进行特征缩放及归一化。这两步操作使所有的特征值处于相近的范围内，以保证损失函数$J(\theta )$不是偏斜的。

正规方程法

因为最小化$J(\theta )$是一个凸优化问题，所以$J(\theta )$有全局唯一的最小值。这就意味着我们可以直接计算出该问题的解析解。

为了求解该问题，我们需要构造一个由所有训练样本组成的矩阵$X$，矩阵的每一行表示一个训练样本，每一列表示不同的特征。这里$X$是一个$n\times (d+1)$维的矩阵（包含截距项）：
$$X=\left[\begin{array}{c}—(x^{(1)}{)}^T—\\ —(x^{(2)}{)}^T—\\ ⋮\\ —(x^{(n)}{)}^T—\end{array}\right]$$
令$\vec{y}$为所有真实值组成的$n$维向量：
$$\vec{y}=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(n)}\end{array}\right]$$
因为$h_{\theta }(x^{(i)})=(x^{(i)}{)}^T\theta$，其中$\theta$是一个$d+1$维向量，所以有如下形式：
$$\begin{array}{rl}X\theta -\vec{y}& =\left[\begin{array}{c}(x^{(1)}{)}^T\theta \\ ⋮\\ (x^{(n)}{)}^T\theta \end{array}\right]-\left[\begin{array}{c}{y}^{(1)}\\ ⋮\\ y^{(n)}\end{array}\right]\\ & =\left[\begin{array}{c}{h}_{\theta }(x^{(1)})-y^{(1)}\\ ⋮\\ h_{\theta }(x^{(n)})-y^{(n)}\end{array}\right]\end{array}$$
对于任意向量$z$，我们有$z^{T}z={\sum }_i{z}_i^2$。因此，可以将$J(\theta )$写成矩阵形式：
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}\sum _{i=1}^n{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2\\ & =\frac{1}{2}(X\theta -\vec{y}{)}^T(X\theta -\vec{y})\end{array}$$
对$J(\theta )$求导得：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\nabla }_{\theta }\frac{1}{2}(X\theta -\vec{y}{)}^T(X\theta -\vec{y})\\ & =\frac{1}{2}\left((X\theta {)}^{T}X\theta -(X\theta {)}^T\vec{y}-{\vec{y}}^T(X\theta )+{\vec{y}}^T\vec{y}\right)\\ & =\frac{1}{2}\left({\theta }^T(X^{T}X)\theta -{\vec{y}}^T(X\theta )-{\vec{y}}^T(X\theta )\right)\\ & =\frac{1}{2}\left({\theta }^T(X^{T}X)\theta -2({\vec{y}}^{T}X)\theta \right)\\ & =\frac{1}{2}\left({\theta }^T(X^{T}X)\theta -2(X^T\vec{y}{)}^T\theta \right)\\ & =\frac{1}{2}(2X^{T}X\theta -2X^T\vec{y})\\ & =X^{T}X\theta -X^T\vec{y}\end{array}$$
为了求解$J(\theta )$的最小值，令其导数等于0，得到正规方程：
$$X^{T}X\theta =X^T\vec{y}$$
因此，$J(\theta )$最小值的闭式解为：
$$\theta =(X^{T}X{)}^{-1}{X}^T\vec{y}$$

当$X^{T}X$不可逆时，我们需要仔细检查训练集的特征，去除相关性较强的冗余特征；或者使用正则化技术。此外，还可以求解$X^{T}X$的伪逆。