深入学习周志华机器学习西瓜书之第三章：线性模型（线性回归，逻辑回归，线性判别分析，多分类，类别不平衡问题）

线性模型

本文章从简单的一元线性回归过渡到多元线性回归；从机器学习中的回归问题到过渡到分类问题；从分类问题中的二分类过渡到多分类，最后介绍对于类别不平衡问题的处理办法。

1. 线性模型的基本形式

给定由$d$个属性描述的示例$\vec{x}=(x_1;x_2;\dots ;x_d)$，其中$x_i$是$\vec{x}$在第$i$个属性上的取值，线性模型试图学得一个通过属性的组合来进行预测的函数，即$$f(\vec{x})=w_1{x}_1+w_2{x}_2+\dots +w_d{x}_d+b,$$一般用向量形式写成$$f(\vec{x})={\vec{w}}^T\vec{x}+b，$$其中$\vec{w}=(w_1;w_2;\dots ;w_d)$。$\vec{w}$和$b$学得以后，模型就得以确定。
线性回归模型虽然形式简单，却在整个机器学习方法中占据着非常重要的地位。许多非线性模型可以在线性模型的基础上通过引入层级结构或高维映射得到。同时线性模型具有很好的可解释性，$w$直观地表达了各个属性在预测中的重要性。

2. 线性回归

给定数据集 D = { ( x ⃗ 1 , y 1 ) , ( x ⃗ 2 , y 2 ) , … , ( x ⃗ m , y m ) } D = \{(\vec{x}_1,y_1),(\vec{x}_2,y_2),\ldots,(\vec{x}_m,y_m)\} D={(x 1​,y1​),(x 2​,y2​),…,(x m​,ym​)}，其中${\vec{x}}_i=(x_{i1};x_{i2};\dots ;x_{id}),y_i\in R$。数据集$D$有$m$个样本，每个样本有$d$个特征（属性），1个label。

2.1 一元线性回归

一元线性回归的输入样本$x_i$的属性只有一个，我们可以忽略属性下标$1,2,\dots ,d$，则数据集 D = { ( x i , y i ) } i = 1 m D=\{(x_i,y_i)\}^m_{i=1} D={(xi​,yi​)}i=1m​，其中$x_i\in R$.同样，数据集$D$有$m$个样本，只不过与上面不同的是，一元线性回归的样本特征$x_i$只有一个特征（属性），为标量（而非向量），于是一元线性回归假设样本满足模型$$f(x_i)=w{x}_i+b，$$我们需要做的就是估计参数$w$和$b$，使得我们由模型计算得到的$f(x_i)$和实际的值（label）$y_i$的误差尽可能小。换言之，对所有的$m$个样本来说，我们希望由$w$和$b$构建的模型的输出与实际值的距离尽可能小。由于这是一个回归问题，我们使用均方误差来衡量模型的性能，即求得是均方误差最小的$w$和$b$。均方误差$$E_{(w,b)}=\sum _{i=1}^m(f(x_i)-y_i{)}^2=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$我们找到使$E_{(w,b)}$最小的$(w,b)$，即为我们模型的$(w,b)$，记为$(w^{\ast },b^{\ast })$，则有下列优化目标：
$$(w^{\ast },b^{\ast })=argmin\sum _{i=1}^m(f(x_i)-y_i{)}^2$$$$=argmin\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
有了上述式子，我们就可以通过使它最小化来求解$w$和$b$，这种方法叫做线性回归模型的最小二乘参数估计。下面我们将均方误差$E_{(w,b)}$分别对$w$和$b$求导，然后令它们等于零，得到$w$和$b$的闭式解。
$$\frac{\partial E_{(w,b)}}{\partial w}=-2\sum _{i=1}^m(y_i-w{x}_i-b)x_i$$$$\frac{\partial E_{(w,b)}}{\partial b}=-2\sum _{i=1}^m(y_i-w{x}_i-b)$$令上面两个式子等于0，得到$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i),$$将$b$的值带入$\frac{\partial E_{(w,b)}}{\partial w}$得到$$\frac{\partial E_{(w,b)}}{\partial w}=-2\sum _{i=1}^m(y_i-w{x}_i-\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i))x_i$$令上式等于0，得$$\sum _{i=1}^m(y_i-w{x}_i-\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i))x_i=0$$$$\sum _{i=1}^m(y_i{x}_i-w{x}_i^2-\frac{1}{m}{x}_i\sum _{i=1}^m(y_i-w{x}_i))=0$$$$\sum _{i=1}^m{y}_i{x}_i-w\sum _{i=1}^m{x}_i^2-\frac{1}{m}\sum _{i=1}^m{x}_i\sum _{i=1}^m{y}_i+\frac{w}{m}(\sum _{i=1}^m{x}_i{)}^2=0$$$$w\sum _{i=1}^m{x}_i^2-\frac{w}{m}(\sum _{i=1}^m{x}_i{)}^2=\sum _{i=1}^m{y}_i{x}_i-\frac{1}{m}\sum _{i=1}^m{x}_i\sum _{i=1}^m{y}_i$$$$w=\frac{{\sum }_{i=1}^m{y}_i{x}_i-\frac{1}{m}{\sum }_{i=1}^m{x}_i{\sum }_{i=1}^m{y}_i}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$$$=\frac{{\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^m{y}_i(\frac{1}{m}{\sum }_{i=1}^m{x}_i)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$$$=\frac{{\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^m{y}_i\overline{x}}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$$$=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$此时，我们得到$w$和$b$最优解的闭式解。其中$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$，为$x$的均值。

2.2 多元线性回归

在日常生活中，数据集$D$中的样本一般由$d$个属性描述，此时我们需要针对每个属性都得到一个对应的$w$，这里我们假设模型为$$f({\vec{x}}_i)={\vec{w}}^T{\vec{x}}_i+b$$ 同样地，我们需要使得根据模型$f({\vec{x}}_i)={\vec{w}}^T{\vec{x}}_i+b$求得的$f({\vec{x}}_i)$与实际值$y_i$的差别尽可能的小，由于这里的$x_i$含有$d$个属性，变为向量$\vec{x}$，这称为多元线性回归。
类似的，我们利用最小二乘法对$\vec{w}$和$b$进行估计。为了方便，可以把$\vec{w}$和$b$整体表示为一个向量$\hat{\vec{w}}=(\vec{w};b)$，相应的，把数据集$D$表示为$m\times (d+1)$大小的矩阵$X$，其中每行对应一个样本，该行前$d$个元素对应示例的$d$个属性值，最后面一个元素恒置为1。再把标记也写成向量形式$\vec{y}=(y_1;y_2;\dots ;y_m)$，根据最小二乘法，则有
$${\hat{\vec{w}}}^{\ast }=argmin(\vec{y}-X\hat{\vec{w}}{)}^T(\vec{y}-X\hat{\vec{w}})$$令$E_{\hat{\vec{w}}}=(\vec{y}-X\hat{\vec{w}}{)}^T(\vec{y}-X\hat{\vec{w}})$，对$\hat{\vec{w}}$求导得到$$\frac{\partial E_{\hat{\vec{w}}}}{\partial \hat{\vec{w}}}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\widehat{\vec{\mathbf{w}}}-\vec{\mathbf{y}})$$令上式为零可以得到$\hat{\mathbf{w}}$最优解的闭式解。当${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$为满秩矩阵或正定矩阵时，令上式等于零可得$${\hat{\vec{w}}}^{\ast }=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$其中$({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}$ 是$({\mathbf{X}}^{\mathbf{T}}\mathbf{X})$的逆矩阵，则最终学得的多元线性回归模型为$$f({\hat{x}}_i)={\hat{x}}_i^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$

3 对数几率回归（逻辑回归）

上面我们讨论的线性回归模型可以简写为$$y=w^{T}x+b$$现在我们要进行的是分类任务，就需要将线性回归模型的预测值与分类任务的真实标记联系起来。对于二分类任务来说，输出 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}，而线性回归模型产生的预测值是实值，于是我们需要将实值转换为$0/1$值。这里最理想的就是给预测值加上一个单位阶跃函数，若预测值大于0就判为正类，小于0则判为负类，预测值为临界值0则任意判别。但是由于阶跃函数不连续，无法微分，我们找到替代的函数，对数几率函数。在这里，我们实际上是使用线性回归模型的预测值去逼近真实标记的对数几率，这种方法的优点如下：

• 直接对分类可能性进行建模，无需事先假设数据分布
• 预测结果不仅仅是类别，还可以表示类别的概率大小
• 对数几率函数是任意阶可导的凸函数，现有的很多数值优化算法可以直接用于求解最优解
  最后我们可以使用极大似然法来估计参数$w$和$b$，然后使用经典的数值优化算法如梯度下降法、牛顿法求得参数的最优解。

4 线性判别分析

线性判别分析 (Linear Discriminant Analysis,LDA)，是一种经典的线性学习方法。
主要思想：给定训练样本集，设法将样本投影到一条直线上，使得相同类别样本的投影点尽可能接近，同时不同类别样本点的投影尽可能远离；在对新样本进行分类时，将其按照同样的映射规则投影到同样的直线上，再根据投影点的位置来确定新样本的类别。
LDA可以应用于二分类和多分类问题。由于可以使用投影来降低样本的维数，LDA也常常被看做一种经典的监督降维技术。

5 多分类问题

有些二分类学习方法可以直接推广到多分类，这里我们主要是使用二分类学习器来解决多分类问题。
考虑$N$个类别$C_1,C_2,\dots ,C_N$，这里我们将$N$分类问题拆解若干个二分类问题进行求解。

• 一对一分类（One vs One, OvO）：将$N$个类别两两配对，产生$N(N-1)/2$个分类任务，测试时将新样本输入给所有分类器，选择预测结果最多的类别作为最终分类结果。
• 一对其余分类（One vs Rest, OvR）：每次将一个类别的样本作为正类，其余所有类别的样本作为负类，构建$N$个分类器。同样将测试样本输入到所有分类器中，若只有一个分类器预测为正类，则对应的类别作为最终分类结果；若有多个分类器预测为正类，通常考虑各个分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

多分类	样本数	分类器个数
OvO	两类样本	$N(N-1)/2$
OvR	所有样本	$N$

OvO需要训练$N(N-1)/2$分类器，而OvR只需训练$N$个分类器，通常其存储开销和测试时间开销更小；但OvR的每个分类器需要使用全部样本数据，在类别很多时，训练时间开销通常更大。

6. 类别不平衡问题

类别不平衡：分类任务中存在的不同类别（对于二分类就是正负类别）训练样本数量差别很大的情况。在这里，我们假设对于二分类问题，正样本数很少，负样本数很多（比如广告点击率），主要有以下三种处理办法：

• 欠采样：去除一些训练集中的负样本使得正负样本数相当
• 过采样：增加一些正样本数使得正负样本数相当
• 阈值移动：基于原始训练集进行训练，在用分类器判别时修改判决阈值
  欠采样：训练集样本数变少，训练时间减少，可能会出现欠拟合。代表性算法EasyEnsemble利用集成学习算法，将负样本划分为若干个集合供不同的学习器使用。
  过采样：增加了很多正样本，训练集变大，可能会出现过拟合。代表性算法SMOTE通过对正样本进行插值来产生额外的正样本。
  阈值移动：在假设“训练集是真实样本总体的无偏估计”的前提下，我们基于训练集中正负样本的数目对判别器进行缩放。原来的判别阈值为0.5，即$$若\frac{y}{1-y}>1,则预测为正类$$现在在训练集中假设正样本数为$m^{+}$，负样本数为$m^{-}$，则正样本对于负样本的观测几率为$\frac{m^{+}}{m^{-}}$，在上述假设下，观测几率代表了真实几率。所以只要分类器的预测几率高于观测几率就应该判定为正类，即$$若\frac{y}{1-y}>\frac{m^{+}}{m^{-}},则预测为正类$$我们对于分类器的判别阈值进行缩放，令$$\frac{y}{1-y}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$$即可。