机器学习——线性模型（3/3）

第三章 线性模型

3.1 基本形式

线性模型（Linear model）试图学得一个通过属性的线性组合来进行预测的函数，即
$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
一般用向量形式写成
$$f(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
其中
$$w=(w_1;w_2;...;w_d)$$
w表达了各属性在预测中的重要性，因此线性模型有很好的可解释性。

当w和b学得后，模型就可以确认了。

非线性模型（nonlinear model）可在线性模型的基础上通过引入层级结构或高维映射而得。

3.2 线性回归

先举个$简单的例子$，假设我们得到的数据集只有一个属性，且忽略关于属性的下表，即$D={(x_i,y_i)}_{i=1}^m$

对离散属性，若属性值间存在“序”（order）关系，可通过连续化将其转化为连续值，若将无序属性连续化，则会不恰当的引入序关系，对后续处理如距离计算等造成误导。

线性回归试图学得
$$f(x_i)=w{x}_i+b$$
使得$f(x_i)$近似等于$y_i$

由于使用均方误差是回归任务中最常用的性能度量，因此可以试图让均方误差最小化，然后对均方误差的均值求关于w和b的偏导。使其为0，得到w和b最优解的闭式（closed-form）解。

具体的步骤如下：

均方误差为：
$$\begin{gathered} (w^{\ast },b^{\ast })=arg\underset{(w,b)}{\min }\sum _{i=1}^m(f(x_i)-y_i{)}^2 \\ =arg\underset{(w,b)}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2 \end{gathered}$$
均方误差对应了欧氏距离，基于均方误差最小化来进行模型求解的方法称为“最小二乘法（least square method）”

均方误差的均值为：
$$E_{(w,b)}=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
求解w和b使E~(w,b)~最小化的过程，称为线性回归模型的最小二乘“参数估计”

对均方误差的均值关于w和b求偏导：
$$\begin{gathered} \frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i) \\ \frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i)) \end{gathered}$$
令偏导结果等于零，得到w和b最优解的闭式解：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
其中
$$\begin{gathered} \bar{x}=\frac{1}{m}\sum _{i=1}^m{x}_i \\ b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i) \end{gathered}$$

$更一般的情形$是对于数据集D，样本有d个属性描述

数据集
$$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$$
其中
$$x_i=(x_{i1};x_{i2};...;x_{id})，y_i\in R$$
此时我们试图学得
$$f(x_i)=w^T{x}_i+b$$
使得$f(x_i)$近似等于$y_i$

这就是多元线性回归

$类似的$，我们可用最小二乘法来对w和b进行估计：

为便于讨论，把w和b吸收入向量形式
$$\hat{w}=(w;b)$$把数据集D表示为一个m×(d+1)大小的矩阵X，其中每行对应一个示例，该行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即
$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)$$
再将标记也写成向量形式$y=(y_1;y_2;...;y_m)$，则有
$${\hat{w}}^{\ast }=arg\underset{\hat{w}}{\min }(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
均值为：
$$E_{\hat{w}}=(y-X\hat{w}{)}^T(y-X\hat{w})$$
对$\hat{w}$求偏导：
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
令偏导结果为零，得到$\hat{\mathbf{w}}$最优解的闭式解。

但由于涉及矩阵逆的计算，所以比单变量情形要复杂一点。

当X^TX为满秩矩阵或正定矩阵时，线性回归模型为：
$$f({\hat{x}}_i)={\hat{x}}_i^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{T}y$$
当X^TX不是满秩矩阵时可解出多个$\hat{w}$

选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化。

特殊情况，如果示例所对应的输出标记是在指数尺度上变化，可将输出标记的对数作为线性模型逼近的目标，即
$$lny=w^{T}x+b$$
它在形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射，这里的对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用。

得到$更一般的情况$，考虑单调可微函数g(·)，令
$$y=g^{-1}({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)$$
得到的模型称为“广义线性模型”，函数g(·)称为“联系函数”。

3.3 对数几率回归

在广义线性模型中，如果做的是分类任务，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

对数几率函数单调可微，能在一定程度上近似单位阶跃函数，是一种“Sigmoid”函数，其常用的替代函数为：
$$y=\frac{1}{1+e^{-z}}$$
将对数几率函数最为$g^{-}(\cdot )$带入联系函数，得到：
$$y=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
两边取对数，得到：
$$ln\frac{y}{1-y}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
如果将y视为样本x作为正例的可能性，1-y视为样本x作为反例的可能性，两者的比值称为“几率”，反映了x作为正例的相对可能性。对几率取对数则得到“对数几率”。

由上述推导可看出，式子其实是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”，是一种分类学习方法，直接对分类可能性进行建模，可得到近似概率预测。对率回归求解的目标函数是任意阶可导的凸函数。

如何确定w和b:

将y视为类后验概率估计p(y=1|x)，则上式可写为：
$$ln\frac{p(y=1|x)}{p(y=0|x)}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
得到：
$$\begin{gathered} p(y=1|x)=\frac{e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}} \\ p(y=0|x)=\frac{1}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}} \end{gathered}$$

通过“极大似然法”来估计w和b

对率回归模型最大化“对数似然”
$$l(w,b)=\sum _{i=1}^{m}lnp(y_i|x_i;w,b)$$
令每个样本属于其真实标记的概率越大越好

3.4 线性判别分析

线性判别分析，简称LDA，是一种经典的线性学习方法，在二分类问题上亦称为“Fisher判别分析”

思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小。

欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大。

若同时考虑二者，可得到欲最大化的目标： $$\begin{gathered} J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w} \\ =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w} \end{gathered}$$

定义“类内散度矩阵”：
$$\begin{gathered} S_w={\Sigma }_0+{\Sigma }_1 \\ ={\Sigma }_{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+{\Sigma }_{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T \end{gathered}$$
定义“类间散度矩阵”：
$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$
则J可重写为：
$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
这就是LDA欲最大化的目标，即S_b与S_w的“广义瑞丽商”

如何确定w:

令
$$w^T{S}_{w}w=1$$
得到广义瑞丽商等价于：
$$\begin{gathered} \underset{w}{\min }-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1 \end{gathered}$$
由拉格朗日乘子法，上式等价于
$${\mathbf{S}}_{\mathbf{b}}\mathbf{w}=\lambda {\mathbf{S}}_{\mathbf{w}}\mathbf{w}$$
其中$\lambda$是拉格朗日乘子，令
$${\mathbf{S}}_b\mathbf{w}=\lambda \left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)$$
得到
$$\mathbf{w}={\mathbf{S}}_w^{-1}\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)$$
考虑到数值解的稳定性，在实践中通常是对S_w进行奇异值分解。

LDA可从贝叶斯决策理论的角度来阐释，当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。

可以将LDA推广到多分类任务中，假定存在N个类，且第i类示例数为m_i，我们先定义“全局散度矩阵”
$$\begin{array}{rl}{\mathbf{S}}_t& ={\mathbf{S}}_b+{\mathbf{S}}_w\\ & =\sum _{i=1}^m\left({\mathbf{x}}_i-\mathbf{\mu }\right){\left({\mathbf{x}}_i-\mathbf{\mu }\right)}^{\mathrm{T}}\end{array}$$
将类内散度矩阵S_w重定义为每个类别的散度矩阵之和，即
$${\mathbf{S}}_w=\sum _{i=1}^N{\mathbf{S}}_{w_i}$$
其中
$${\mathbf{S}}_{w_i}=\sum _{\mathbf{x}\in X_i}\left(\mathbf{x}-{\mathbf{\mu }}_i\right){\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\mathrm{T}}$$
整理后可的
$$\begin{array}{rl}{\mathbf{S}}_b& ={\mathbf{S}}_t-{\mathbf{S}}_w\\ & =\sum _{i=1}^N{m}_i\left({\mathbf{\mu }}_i-\mathbf{\mu }\right){\left({\mathbf{\mu }}_i-\mathbf{\mu }\right)}^{\mathrm{T}}\end{array}$$
综上，多分类LDA可以有多种实现方法：使用S_b,S_w,S_t三者中的任何两个即可，常见的一种实现是采用优化目标

$$\underset{W}{\max }\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}$$
通过广义特征问题求解
$$S_{b}W=\lambda S_{w}W$$
W的闭式解则是$S_w^{-1}{S}_b$的d’个最大非零广义特征值所对应的特征向量组成的矩阵，d’≤N-1。

3.5 多分类学习

基于一些基本策略，利用二分类学习器来解决多分类问题。

先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器，在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。

拆分类策略有：一对一（OvO）、一对其余（OvR）、多对多（MvM）

OvO将N个类别两两配对，产生N(N-1)/2个二分类任务，在测试阶段，新样本将同时提交给所有分类器，于是，得到N(N-1)/2个分类结果，最终结果可通过投票产生：即把被预测的最多的类别作为最终分类结果。

OvR每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N个分类器，若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

OvR只需训练N个分类器，而OvO需训练N(N-1)/2个分类器，因此，OvO的存储开销和测试时间开销通常比OvR更大，但在训练时，OvR的每个分类器均使用全部训练样例，而OvO的每个分类器仅用到两个类的样例，因此，在类别很多时，OvO的训练时间开销通常比OvR更小。预测性能取决于具体的数据分布，在多数情形下两者差不多。

MvM每次将若干个类作为正类，若干个其他类作为反类。可以看出OvO和OvR是MvM的特例。MvM的正、反类构造必须有特殊的设计，不能随意选取，最常用的MvM技术：”纠错输出码“（ECOC）。

ECOC是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性，工作过程分为两步：

• 编码：对N个类别做M次划分，每次划分将一部分类别划分为正类，一部分划分为反类，从而形成一个二分类训练集；这样一共产生M个训练集，可训练出M个分类器。
  类别划分通过”编码矩阵“指定，编码矩阵有多种形式，常见的主要有二元码和三元码。前者将每个类别分别指定为正类和反类，后者在正、反类之外，还可指定”停用类“。
• 解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码，将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果。

纠错输出码（ECOC）在测试阶段对分类器的错误有一定的容忍和修正能力。一般来说，对同一个学习任务，ECOC编码越长，纠错能力越强，计算、存储开销都会增大；对同等长度的编码，理论上来说，编码距离越远，纠错能力越强，但并不是编码的理论性质越好，分类性能就越好。一个理论纠错性质很好、但导致的二分类问题较难的编码，与另一个理论纠错性质差一些、但导致的二分类问题较简单的编码，最终产生的模型性能孰强孰弱很难说。

3.6 类别不平衡问题

定义：类别不平衡（class-imbalance）指分类任务中不同类别的训练样例数目差别很大的情况。

当训练集中正、反例的数目相同时，分类器的决策规则是：
$$若\frac{y}{1-y}>1则预测为正例$$
当训练集中正、反例的数目不相同时，令m⁺表示正例数目、m^-表示反例数目，则预测几率是$\frac{m^{+}}{m^{-}}$，由于我们通常假设训练集是真实样本总体的无偏采样，因此观测几率就代表了真实几率，即
$$若\frac{y}{1-y}>\frac{m^{+}}{m^{-}}则预测为正例$$
如果要是对预测值进行调整，使其在基于式$\frac{y}{1-y}>1$ 决策，实际上是在执行式$\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$，则需要进行“再缩放”，即
$$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$$
为实现再缩放，我们要有效的基于训练集观测几率来推断出真实几率，现有的技术有：

• 直接对训练集里的反类样例进行“欠采样”，即去除一些反例使得正、反例数目接近，然后再进行学习。

• 对训练集里的正类样例进行“过采样”，即增加一些正例使得正、反例数目接近，然后再进行学习。

• 直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将式
  $\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$嵌入到其决策过程中，称为”阈值移动“。

欠采样法的时间开销通常远小于过采样法，过采样法不能简单地对初始正例样本进行重复采样，否则会招致严重的过拟合。欠采样法如果若随即丢弃反例，可能丢失一些重要信息。

• 过采样法的代表性算法SMOTE是通过对训练集里的正例进行插值来产生额外的正例；

• 欠采样法的代表性算法EasyEnsemble是利用集成学习机制，将反例划分为若干个集合供不同学习器使用，即对每个学习器进行欠采样而在全局来看却不会丢失重要信息。