【机器学习】线性回归和线性分类器—基础

• 回归
• 线性分类
• 逻辑回归的正则化
• 逻辑回归的优缺点
• 验证和学习曲线

最小二乘法

在开始学习线性模型之前，简要介绍一下线性回归，首先指定一个模型将因变量 $y$ 和特征联系起来，对线性模型而言，依赖函数的形式如下：
$$y=w_0+\sum _{i=1}^m{w}_i{x}_i$$
如果为每项观测加上一个虚维度 $x_0=1$（比如偏置），那么就可以把 $w_0$ 整合进求和项中，改写为一个略微紧凑的形式：
$$y=\sum _{i=0}^m{w}_i{x}_i={\text{w}}^{\text{T}}\text{x}$$
如果有一个特征观测矩阵，其中矩阵的行是数据集中的观测，那么需要在左边加上一列。由此，线性模型可以定义为：
$$\text{y}=\text{X}\text{w}+ϵ$$
其中：

• $\text{y}\in {\mathbb{R}}^n$：因变量（目标变量）。
• $w$：模型的参数向量（在机器学习中，这些参数经常被称为权重）。
• $\text{X}$：观测及其特征矩阵，大小为 n 行、m+1 列（包括左侧的虚列），其秩的大小为$\text{rank}\left(\text{X}\right)=m+1。$
• $ϵ$ ：一个变量，用来表示随机、不可预测模型的错误。
• 上述表达式亦可这样写：
  $$y_i=\sum _{j=0}^m{w}_j{X}_{ij}+{ϵ}_i$$
  模型具有如下限制（否则它就不是线性回归了）：
• 随机误差的期望为零：$\forall i:\mathbb{E}\left[{ϵ}_i\right]=0$;
• 随机误差具有相同的有限方差，这一性质称为等分散性：$$\forall i:\text{Var}\left({ϵ}_i\right)={\sigma }^2<\infty ;$$
• 随机误差不相关：$\forall i\ne j:\text{Cov}\left({ϵ}_i,{ϵ}_j\right)=0$.

权重 $w_i$ 的估计 ${\hat{w}}_i$ 满足如下条件时，称其为线性：
其中对于 $\forall k，$${\omega }_{ki}$ 仅依赖于 $X$ 中的样本。由于寻求最佳权重的解是一个线性估计，这一模型被称为线性回归。

再引入一项定义：当期望值等于估计参数的真实值时，权重估计被称为无偏（unbiased）：
计算这些权重的方法之一是普通最小二乘法（OLS）。OLS 可以最小化因变量实际值和模型给出的预测值之间的均方误差：
$$\begin{array}{rcl}\mathcal{L}\left(\text{X},\text{y},\text{w}\right)& =& \frac{1}{2n}{\sum }_{i=1}^n{\left(y_i-{\text{w}}^{\text{T}}{\text{x}}_i\right)}^2\\ & =& \frac{1}{2n}{\Vert \text{y}-\text{X}\text{w}\Vert }_2^2\\ & =& \frac{1}{2n}{\left(\text{y}-\text{X}\text{w}\right)}^{\text{T}}\left(\text{y}-\text{X}\text{w}\right)\end{array}$$
为了解决这一优化问题，需要计算模型参数的导数。将导数设为零，然后求解关于 $\text{w}$ 的等式，倘若不熟悉矩阵求导，可以参考下面的 4 个式子：
$$\begin{array}{rcl}\frac{\partial }{\partial \text{X}}{\text{X}}^{\text{T}}\text{A}& =& \text{A}\end{array}$$
$$\begin{array}{rcl}\frac{\partial }{\partial \text{X}}{\text{X}}^{\text{T}}\text{A}\text{X}& =& \left(\text{A}+{\text{A}}^{\text{T}}\right)\text{X}\end{array}$$
$$\begin{array}{rcl}\frac{\partial }{\partial \text{A}}{\text{X}}^{\text{T}}\text{A}\text{y}& =& {\text{X}}^{\text{T}}\text{y}\end{array}$$
$$\begin{array}{rcl}\frac{\partial }{\partial \text{X}}{\text{A}}^{-1}& =& -{\text{A}}^{-1}\frac{\partial \text{A}}{\partial \text{X}}{\text{A}}^{-1}\end{array}$$
现在开始计算模型参数的导数：
$$\begin{array}{rcl}\frac{\partial \mathcal{L}}{\partial \text{w}}& =& \frac{\partial }{\partial \text{w}}\frac{1}{2n}\left({\text{y}}^{\text{T}}\text{y}-2{\text{y}}^{\text{T}}\text{X}\text{w}+{\text{w}}^{\text{T}}{\text{X}}^{\text{T}}\text{X}\text{w}\right)\\ & =& \frac{1}{2n}\left(-2{\text{X}}^{\text{T}}\text{y}+2{\text{X}}^{\text{T}}\text{X}\text{w}\right)\end{array}$$
$$\begin{array}{rcl}\frac{\partial \mathcal{L}}{\partial \text{w}}=0& \iff & \frac{1}{2n}\left(-2{\text{X}}^{\text{T}}\text{y}+2{\text{X}}^{\text{T}}\text{X}\text{w}\right)=0\\ & \iff & -{\text{X}}^{\text{T}}\text{y}+{\text{X}}^{\text{T}}\text{X}\text{w}=0\\ & \iff & {\text{X}}^{\text{T}}\text{X}\text{w}={\text{X}}^{\text{T}}\text{y}\\ & \iff & \text{w}={\left({\text{X}}^{\text{T}}\text{X}\right)}^{-1}{\text{X}}^{\text{T}}\text{y}\end{array}$$
基于上述的定义和条件，可以说，根据高斯-马尔可夫定理，模型参数的 OLS 估计是所有线性无偏估计中最优的，即通过 OLS 估计可以获得最低的方差。
有人可能会问，为何选择最小化均方误差而不是其他指标？因为若不选择最小化均方误差，那么就不满足高斯-马尔可夫定理的条件，得到的估计将不再是最佳的线性无偏估计。
最大似然估计是解决线性回归问题一种常用方法，下面介绍它的概念。

最大似然估计

首先举一个简单的例子，我们想做一个试验判定人们是否记得简单的甲醇化学式 $C{H}_{3}OH$。首先调查了 400 人，发现只有 117 个人记得甲醇的化学式。那么，直接将 $\frac{117}{400}\approx 29\%$ 作为估计下一个受访者知道甲醇化学式的概率是较为合理的。这个直观的估计就是一个最大似然估计。为什么会这么估计呢？回忆下伯努利分布的定义：如果一个随机变量只有两个值（1 和 0，相应的概率为 $\theta$ 和 $1-\theta$），那么该随机变量满足伯努利分布，遵循以下概率分布函数：
p ( θ , x ) = θ x ( 1 − θ ) ( 1 − x ) , x ∈ { 0 , 1 } p\left(\theta, x\right) = \theta^x \left(1 - \theta\right)^{\left(1 - x\right)}, x \in \left\{0, 1\right\} p(θ,x)=θx(1−θ)(1−x),x∈{0,1}
这一分布正是我们所需要的，分布参数 $\theta$ 就是「某个人知道甲醇化学式」的概率估计。在 400 个独立试验中，试验的结果记为 $\text{x}=\left(x_1,x_2,\dots ,x_{400}\right)$。写下数据的似然，即观测的可能性，比如正好观测到 117 个随机变量 $x=1$ 和 283 个随机变量 $x=0$ 的可能性：
$$p(\text{x};\theta )=\prod _{i=1}^{400}{\theta }^{x_i}{\left(1-\theta \right)}^{\left(1-x_i\right)}={\theta }^{117}{\left(1-\theta \right)}^{283}$$
接着，将最大化这一 $\theta$ 的表达式。一般而言，为了简化计算，并不最大化似然 $p(\text{x};\theta )$，转而最大化其对数（这种变换不影响最终答案）：
$$\log p(\text{x};\theta )=\log \prod _{i=1}^{400}{\theta }^{x_i}{\left(1-\theta \right)}^{\left(1-x_i\right)}=$$
$$=\log {\theta }^{117}{\left(1-\theta \right)}^{283}=117\log \theta +283\log \left(1-\theta \right)$$
为了找到最大化上式的 $\theta$ 值，将上式对 $\theta$ 求导，并令其为零，求解所得等式：
$$\frac{\partial \log p(\text{x};\theta )}{\partial \theta }=\frac{\partial }{\partial \theta }\left(117\log \theta +283\log \left(1-\theta \right)\right)=\frac{117}{\theta }-\frac{283}{1-\theta };$$
由上可知，我们的直观估计正好是最大似然估计。现在将这一推理过程应用到线性回归问题上，尝试找出均方误差背后的道理。为此，需要从概率论的角度来看线性回归。我们的模型和之前是一样的：
$$\text{y}=\text{X}\text{w}+ϵ$$
不过，现在假定随机误差符合均值为零的 正态分布：
$${ϵ}_i\sim \mathcal{N}\left(0,{\sigma }^2\right)$$
据此改写模型：
$$\begin{array}{rcl}{y}_i& =& {\sum }_{j=1}^m{w}_j{X}_{ij}+{ϵ}_i\\ & \sim & {\sum }_{j=1}^m{w}_j{X}_{ij}+\mathcal{N}\left(0,{\sigma }^2\right)\\ p\left(y_i\mid \text{X};\text{w}\right)& =& \mathcal{N}\left({\sum }_{j=1}^m{w}_j{X}_{ij},{\sigma }^2\right)\end{array}$$
由于样本是独立抽取的（误差不相关是高斯-马尔可夫定理的条件之一），数据的似然看起来会是密度函数 $p\left(y_i\right)$ 的积。转化为对数形式：
$$\begin{array}{rcl}\log p\left(\text{y}\mid \text{X};\text{w}\right)& =& \log {\prod }_{i=1}^n\mathcal{N}\left({\sum }_{j=1}^m{w}_j{X}_{ij},{\sigma }^2\right)\\ & =& {\sum }_{i=1}^n\log \mathcal{N}\left({\sum }_{j=1}^m{w}_j{X}_{ij},{\sigma }^2\right)\\ & =& -\frac{n}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n{\left(y_i-{\text{w}}^{\text{T}}{\text{x}}_i\right)}^2\end{array}$$
想要找到最大似然假设，即需要最大化表达式 $p\left(\text{y}\mid \text{X};\text{w}\right)$ 以得到 ${\text{w}}_{\text{ML}}$，这和最大化其对数是一回事。注意，当针对某个参数最大化函数时，可以丢弃所有不依赖这一参数的变量：
$$\begin{array}{rcl}{\text{w}}_{\text{ML}}& =& \arg {\max }_{\text{w}}p\left(\text{y}\mid \text{X};\text{w}\right)=\arg {\max }_{\text{w}}\log p\left(\text{y}\mid \text{X};\text{w}\right)\\ & =& \arg {\max }_{\text{w}}-\frac{n}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n{\left(y_i-{\text{w}}^{\text{T}}{\text{x}}_i\right)}^2\\ & =& \arg {\max }_{\text{w}}-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n{\left(y_i-{\text{w}}^{\text{T}}{\text{x}}_i\right)}^2\\ & =& \arg {\min }_{\text{w}}\mathcal{L}\left(\text{X},\text{y},\text{w}\right)\end{array}$$
所以，当测量误差服从正态（高斯）分布的情况下， 最小二乘法等价于极大似然估计。

偏置-方差分解

下面讨论线性回归预测的误差性质（可以推广到机器学习算法上），上文提到：

• 目标变量的真值 $y$ 是确定性函数 $f\left(\text{x}\right)$ 和随机误差 $ϵ$ 之和：$y=f\left(\text{x}\right)+ϵ$。
• 误差符合均值为零、方差一致的正态分布：$ϵ\sim \mathcal{N}\left(0,{\sigma }^2\right)$。
• 目标变量的真值亦为正态分布：$y\sim \mathcal{N}\left(f\left(\text{x}\right),{\sigma }^2\right)$。
• 试图使用一个协变量线性函数逼近一个未知的确定性函数 $f\left(\text{x}\right)$，这一协变量线性函数是函数空间中估计函数 $f$ 的一点，即均值和方差的随机变量。

因此，点 $\text{x}$ 的误差可分解为：$$\begin{array}{rcl}\text{Err}\left(\text{x}\right)& =& \mathbb{E}\left[{\left(y-\hat{f}\left(\text{x}\right)\right)}^2\right]\\ & =& \mathbb{E}\left[y^2\right]+\mathbb{E}\left[{\left(\hat{f}\left(\text{x}\right)\right)}^2\right]-2\mathbb{E}\left[y\hat{f}\left(\text{x}\right)\right]\\ & =& \mathbb{E}\left[y^2\right]+\mathbb{E}\left[{\hat{f}}^2\right]-2\mathbb{E}\left[y\hat{f}\right]\end{array}$$
为了简洁，省略函数的参数，分别考虑每个变量。根据公式 $\text{Var}\left(z\right)=\mathbb{E}\left[z^2\right]-\mathbb{E}{\left[z\right]}^2$ 可以分解前两项为：
$$\begin{array}{rcl}\mathbb{E}\left[y^2\right]& =& \text{Var}\left(y\right)+\mathbb{E}{\left[y\right]}^2={\sigma }^2+f^2\\ \mathbb{E}\left[{\hat{f}}^2\right]& =& \text{Var}\left(\hat{f}\right)+\mathbb{E}{\left[\hat{f}\right]}^2\end{array}$$
注意：
$$\begin{array}{rcl}\text{Var}\left(y\right)& =& \mathbb{E}\left[{\left(y-\mathbb{E}\left[y\right]\right)}^2\right]\\ & =& \mathbb{E}\left[{\left(y-f\right)}^2\right]\\ & =& \mathbb{E}\left[{\left(f+ϵ-f\right)}^2\right]\\ & =& \mathbb{E}\left[{ϵ}^2\right]={\sigma }^2\end{array}$$
$$\mathbb{E}[y]=\mathbb{E}[f+ϵ]=\mathbb{E}[f]+\mathbb{E}[ϵ]=f$$
接着处理和的最后一项。由于误差和目标变量相互独立，所以可以将它们分离，写为：
$$\begin{array}{rcl}\mathbb{E}\left[y\hat{f}\right]& =& \mathbb{E}\left[\left(f+ϵ\right)\hat{f}\right]\\ & =& \mathbb{E}\left[f\hat{f}\right]+\mathbb{E}\left[ϵ\hat{f}\right]\\ & =& f\mathbb{E}\left[\hat{f}\right]+\mathbb{E}\left[ϵ\right]\mathbb{E}\left[\hat{f}\right]=f\mathbb{E}\left[\hat{f}\right]\end{array}$$
最后，将上述公式合并为：
$$\begin{array}{rcl}\text{Err}\left(\text{x}\right)& =& \mathbb{E}\left[{\left(y-\hat{f}\left(\text{x}\right)\right)}^2\right]\\ & =& {\sigma }^2+f^2+\text{Var}\left(\hat{f}\right)+\mathbb{E}{\left[\hat{f}\right]}^2-2f\mathbb{E}\left[\hat{f}\right]\\ & =& {\left(f-\mathbb{E}\left[\hat{f}\right]\right)}^2+\text{Var}\left(\hat{f}\right)+{\sigma }^2\\ & =& \text{Bias}{\left(\hat{f}\right)}^2+\text{Var}\left(\hat{f}\right)+{\sigma }^2\end{array}$$
由此，从上等式可知，任何线性模型的预测误差由三部分组成：

• 偏差（bias）: $\text{Bias}\left(\hat{f}\right)$ 度量了学习算法的期望输出与真实结果的偏离程度, 刻画了算法的拟合能力，偏差偏高表示预测函数与真实结果差异很大。
• 方差（variance）: $\text{Var}\left(\hat{f}\right)$ 代表「同样大小的不同的训练数据集训练出的模型」与「这些模型的期望输出值」之间的差异。训练集变化导致性能变化，方差偏高表示模型很不稳定。
• 不可消除的误差（irremovable error）: ${\sigma }^2$ 刻画了当前任务任何算法所能达到的期望泛化误差的下界，即刻画了问题本身的难度。
  尽管无法消除 ${\sigma }^2$，但我们可以影响前两项。理想情况下，希望同时消除偏差和方差（见下图中左上），但是在实践中，常常需要在偏置和不稳定（高方差）间寻找平衡。
  
  一般而言，当模型的计算量增加时（例如，自由参数的数量增加了），估计的方差（分散程度）也会增加，但偏置会下降，这可能会导致过拟合现象。另一方面，如果模型的计算量太少（例如，自由参数过低)，这可能会导致欠拟合现象。
  
  高斯-马尔可夫定理表明：在线性模型参数估计问题中，OLS 估计是最佳的线性无偏估计。这意味着，如果存在任何无偏线性模型 g，可以确信 $Var\left(\hat{f}\right)\le Var\left(g\right)$。

线性回归的正则化

低偏置和低方差往往是不可兼得的，所以在一些情形下，会为了稳定性（降低模型的方差）而导致模型的偏置 $\text{Var}\left(\hat{f}\right)$ 提高。高斯-马尔可夫定理成立的条件之一就是矩阵 $\text{X}$ 是满秩的，否则 OLS 的解 $\text{w}={\left({\text{X}}^{\text{T}}\text{X}\right)}^{-1}{\text{X}}^{\text{T}}\text{y}$ 就不存在，因为逆矩阵 ${\left({\text{X}}^{\text{T}}\text{X}\right)}^{-1}$ 不存在，此时矩阵 ${\text{X}}^{\text{T}}\text{X}$ 被称为奇异矩阵或退化矩阵。这类问题被称为病态问题，必须加以矫正，也就是说，矩阵 ${\text{X}}^{\text{T}}\text{X}$ 需要变成非奇异矩阵（这正是这一过程叫做正则化的原因）。
我们常常能在这类数据中观察到所谓的多重共线性：两个或更多特征高度相关，也就是矩阵 $\text{X}$ 的列之间存在类似线性依赖的关系（又不完全是线性依赖）。例如，在「基于特征预测房价」这一问题中，属性「含阳台的面积」和「不含阳台的面积」会有一个接近线性依赖的关系。数学上，包含这类数据的矩阵 ${\text{X}}^{\text{T}}\text{X}$ 被称为可逆矩阵，但由于多重共线性，一些本征值（特征值）会接近零。在 ${\text{X}}^{\text{T}}\text{X}$ 的逆矩阵中，因为其本征值为 $\frac{1}{{\lambda }_i}$，所以有些本征值会变得特别大。本征值这种巨大的数值波动会导致模型参数估计的不稳定，即在训练数据中加入一组新的观测会导致完全不同的解。为了解决上述问题，有一种正则化的方法称为吉洪诺夫（Tikhonov）正则化，大致上是在均方误差中加上一个新变量：
$$\begin{array}{rcl}\mathcal{L}\left(\text{X},\text{y},\text{w}\right)& =& \frac{1}{2n}{\Vert \text{y}-\text{X}\text{w}\Vert }_2^2+{\Vert \Gamma \text{w}\Vert }^2\end{array}$$
吉洪诺夫矩阵常常表达为单位矩阵乘上一个系数：$\Gamma =\frac{\lambda }{2}E$。在这一情形下，最小化均方误差问题变为一个 L2 正则化问题。若对新的损失函数求导，设所得函数为零，据 $\text{w}$ 重整等式，便得到了这一问题的解：
$$\begin{array}{rcl}\text{w}& =& {\left({\text{X}}^{\text{T}}\text{X}+\lambda \text{E}\right)}^{-1}{\text{X}}^{\text{T}}\text{y}\end{array}$$
这类回归被称为岭回归（ridge regression）。岭为对角矩阵，在 ${\text{X}}^{\text{T}}\text{X}$ 矩阵上加上这一对角矩阵，以确保能得到一个正则矩阵。

这样的解降低了方差，但增加了偏置，因为参数的正则向量也被最小化了，这导致解朝零移动。在下图中，OLS 解为白色虚线的交点，蓝点表示岭回归的不同解。可以看到，通过增加正则化参数 $\lambda$，使解朝零移动。

以上知识是关于线性回归的数学概念和公式推导，具体线性分类实现下节给出。