机器学习——线性模型

线性模型

基本形式

给定由$d$个属性描述的示例$x\text{x}x=(x_1;x_2;...;x_d)$，其中$x_i$是$x\text{x}x$在第$i$个属性上的取值，线性模型试图学的一个通过属性的线性组合来进行预测的函数，即
$$f(x\text{x}x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
一般用向量形式写成
$$f(x\text{x}x)={w\text{w}w}^{T}x\text{x}x+b$$

线性模型形式简单、易于建模，$w\text{w}w$直观表达了各属性的重要性，因此线性模型有很好的可解释性。

线性回归

对于给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(\pmb{x}_1,y_1), (\pmb{x}_2,y_2), ... ,(\pmb{x}_m,y_m)\} D={(xxx1​,y1​),(xxx2​,y2​),...,(xxxm​,ym​)}，线性回归试图学得$$f({x\text{x}x}_i)={w\text{w}w}^T{x\text{x}x}_i+b，使得f({x\text{x}x}_i)\simeq y_i$$
均方误差是回归任务中最常用的性能度量，因此我们可以试图让均方误差最小化，即
$$\begin{array}{rl}({w\text{w}w}^{\ast },b^{\ast })& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f({x\text{x}x}_i)-y_i{)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-{w\text{w}w}^T{x\text{x}x}_i-b{)}^2\end{array}$$
基于均方误差来求解模型的方法称为最小二乘法，就是试图找到一条直线（$x$是1维），使所有样本到所有直线上的欧式距离之和最小。
为便于讨论，我们把$w$和$b$吸收入向量形式$\hat{w}\text{w^}\hat{w}=(w\text{w}w;b)$，相应的，把数据集D表示成一个$m\times (d+1)$大小的矩阵$\mathbf{X}$，最后一列元素恒置为1，即
$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{1}1& x_{1}2& \cdots & x_{1}d& 1\\ x_{2}1& x_{2}2& \cdots & x_{2}d& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m}1& x_{m}2& \cdots & x_{m}d& 1\end{array}\right)=\left(\begin{array}{cc}{x\text{x}x}_1^T& 1\\ {x\text{x}x}_2^T& 1\\ ⋮& ⋮\\ {x\text{x}x}_m^T& 1\end{array}\right)$$
再把$y\text{y}y$也同样改写成向量形式，我们可以得到优化目标：
$${\hat{w}}^{\ast }=\underset{\hat{w}}{\mathrm{argmin}}(y\text{y}y-\mathbf{X}\hat{w}\text{w^}\hat{w}{)}^T(y\text{y}y-\mathbf{X}\hat{w}\text{w^}\hat{w})$$
令$E_{\hat{w}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$，对$\hat{w}$求导得到
$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{w}-\mathbf{y})$$

推导过程：
两个矩阵求导重要公式：
$$\frac{\partial \left(A^T{W}^{T}B\right)}{\partial W}=B{A}^T\frac{\partial \left(A^{T}WB\right)}{\partial W}=A{B}^T$$
具体推导过程如下：
$$\frac{\partial \left(y^{T}XW\right)}{\partial W}={\left(y^{T}X\right)}^T=X^{T}y$$
$$\frac{\partial \left(W^T{X}^{T}y\right)}{\partial W}=X^{T}y$$
$$\frac{\partial \left(W^T{X}^{T}XW\right)}{\partial W}=X^{T}XW+{\left(W^T{X}^{T}X\right)}^T=2X^{T}XW$$
$$\frac{\partial \left(y^{T}y-y^{T}XW-W^T{X}^{T}y+W^T{X}^{T}XW\right)}{\partial W}=2X^{T}XW-2X^{T}Y$$

令上式为零可得$\hat{w}$最优解的闭式解
$${\hat{\mathbf{w}}}^{\ast }={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$
线性回归模型为
$$f({\hat{x}}_i^T)={\hat{x}\text{x^}\hat{x}}_i^T{\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$
然而在现实任务中${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$往往不是满秩矩阵。例如在许多任务中我们遇到大量的变量，或者样本数量少，导致$\mathbf{X}$的列数多于行数。此时可解出多个$\hat{w}$，选择哪个解作为输出由学习算法的归纳偏好决定，常见的方法是引入正则化项。

更一般的考虑可微函数$g(\cdot )$，令
$$y=g^{-1}\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)$$
这样得到的模型称为“广义线性模型”。

对数几率回归（逻辑回归）

考虑二分类任务，其输出标记 y ∈ { 0 , 1 } y\in \{0,1\} y∈{0,1}，而线性回归模型产生的预测值$z={w\text{w}w}^{T}x\text{x}x+b$是实值。根据广义线性模型：只需要一个单调可微函数将分类任务的真实标记$y$与线性回归模型的预测值联系起来。于是，我们将实值$z$转换为0/1值，最理想的是“单位阶跃函数”
$$y=\{\begin{array}{cc}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}$$
即预测值$z$若大于零就判为正例，小于零则判为反例，预测值为临界值零则可任意判别，如图所示：

从图中可以看出，单位阶跃函数并不连续，我们希望找到一个单调可微的函数，对数几率函数正式这样一个常用的替代函数：
$$y=\frac{1}{1+e^{-z}}$$
对数几率函数是一种“Sigmoid函数”，它将$z$值转化为一个接近0或1的$y$值，并且其输出值在$z=0$附近变化很陡，带入线性回归模型可以得到
$$y=\frac{1}{1+e^{-\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)}}$$

一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率（log odds）或logit函数是$logit(p)=log\frac{p}{1-p}$

可以变化为
$$\ln \frac{y}{1-y}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
若将$y$视为样本$x\text{x}x$作为正例的可能性，则$1-y$是其反例可能性，两者的比值$\frac{y}{1-y}$称为“几率”，反映了x作为正例的相对可能性。

逻辑回归具有很多优点：直接对分类可能性建模，无需实现假设数据分布，这样就避免了假设分布不准确所带来的问题；不仅预测出“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用；求解的目标函数是任意阶可导的凸函数，易于求取最优解。

将$y$视为类后验概率估计$p(y=1|x\text{x}x)$，则可重写为：
$$\ln \frac{p(y=1\mid \mathbf{x})}{p(y=0\mid \mathbf{x})}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$
显然有
$$\begin{array}{l}p(y=1\mid \mathbf{x})=\frac{e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\\ p(y=0\mid \mathbf{x})=\frac{1}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\end{array}$$
于是，我们可以通过“极大似然法”来估计$w\text{w}w$和$b$。给定数据集 { ( x i , y i ) } i = 1 m \left\{\left(\boldsymbol{x}_{i}, y_{i}\right)\right\}_{i=1}^{m} {(xi​,yi​)}i=1m​，得到最大化对数似然函数：
$$\ell (\mathbf{w},b)=\sum _{i=1}^m\ln p\left(y_i\mid {\mathbf{x}}_i;\mathbf{w},b\right)$$
即令每个样本书育其真实标记的概率越大越好，为便于讨论，令$\mathbf{\beta }=(x\text{x}x;b)$， $\widehat{x\text{x}x}=(x\text{x}x;1)$，则${w\text{w}w}^{T}x\text{x}x+b$可简写为${\mathbf{\beta }}^T\widehat{x\text{x}x}$。再令$p_1(\hat{\mathbf{x}};\mathbf{\beta })=p(y=1\mid \hat{\mathbf{x}};\mathbf{\beta })$，$p_0(\hat{\mathbf{x}};\mathbf{\beta })=p(y=0\mid \hat{\mathbf{x}};\mathbf{\beta })=1-p_1(\hat{\mathbf{x}};\mathbf{\beta })$，则上式的似然项可重写为：
$$p\left(y_i\mid {\mathbf{x}}_i;\mathbf{w},b\right)=y_i{p}_1\left({\hat{\mathbf{x}}}_i;\mathbf{\beta }\right)+\left(1-y_i\right)p_0\left({\hat{\mathbf{x}}}_i;\mathbf{\beta }\right)$$
最大化似然公式等价于最小化
$$\ell (\mathbf{\beta })=\sum _{i=1}^m\left(-y_i{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i+\ln \left(1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}\right)\right)$$
上式是关于$\mathbf{\beta }$的高阶可导连续凸函数，根据凸优化理论，经典的数值优化算法如梯度下降法、牛顿法等都可以求得其最优解，于是就得到
$${\mathbf{\beta }}^{\ast }=\underset{\mathbf{\beta }}{\mathrm{argmin}}\ell (\mathbf{\beta })$$

线性判别分析

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法。
LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。如图所示。

给定数据集 D = { ( x i , y i ) } i = 1 m , y i ∈ { 0 , 1 } D=\left\{\left(\boldsymbol{x}_{i}, y_{i}\right)\right\}_{i=1}^{m}, y_{i} \in\{0,1\} D={(xi​,yi​)}i=1m​,yi​∈{0,1}，令$X_i,{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i$分别表示第 i ∈ { 0 , 1 } i \in\{0,1\} i∈{0,1}类示例的集合、均值向量、协方差矩阵。若将数据投影到直线$w\text{w}w$上，则两类样本的中心在直线上的投影分别为${\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0$和${\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1$；若将所有样本点都投影到直线上，则两类样本的协方差分别为${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}$和${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}$。由于直线是一维空间，因此${\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0、{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1,{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}$和${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}$均为实数。

上述公式均可通过点积方式推导出。其中协方差就是同一类中两个样本在直线投影结果的乘积。

想要使同类样例的投影点尽可能接近，可以让协方差尽可能小，即${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}$尽可能小；而欲使异类样例的投影点尽可能远离，可以让类中心距离尽可能大，即${\Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1\Vert }_2^2$尽可能大，同时考虑二者，则可得到欲最大化的目标。

$$\begin{array}{rl}J& =\frac{{\Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}}\\ & =\frac{{\mathbf{w}}^{\mathrm{T}}\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right){\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)}^{\mathrm{T}}\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}\left({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\right)\mathbf{w}}\end{array}$$
定义“类内散度矩阵”：
$$\begin{array}{rl}{\mathbf{S}}_w& ={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\\ & =\sum _{\mathbf{x}\in X_0}\left(\mathbf{x}-{\mathbf{\mu }}_0\right){\left(\mathbf{x}-{\mathbf{\mu }}_0\right)}^{\mathrm{T}}+\sum _{\mathbf{x}\in X_1}\left(\mathbf{x}-{\mathbf{\mu }}_1\right){\left(\mathbf{x}-{\mathbf{\mu }}_1\right)}^{\mathrm{T}}\end{array}$$
以及“类间散度矩阵”
$${\mathbf{S}}_b=\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right){\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)}^{\mathrm{T}}$$
则优化目标可重写为
$$J=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}}$$
这就是LDA欲最大化的目标，即${\mathbf{S}}_b$和${\mathbf{S}}_w$的“广义瑞利商”。
不失一般性，令${\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}=1$，则优化目标变为：
$$\begin{array}{rl}\underset{\mathbf{w}}{\min }& -{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}\\ \text{ s.t. }& {\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}=1\end{array}$$
由拉格朗日乘子法，上式等价于
$${\mathbf{S}}_b\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}$$
注意到${\mathbf{S}}_b\mathbf{w}$的方向恒为${\mu }_0-{\mu }_1$，不妨令
$${\mathbf{S}}_b\mathbf{w}=\lambda \left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)$$

本人理解：因为我们最后求得的$w\text{w}w$，代表一个方向，所以乘以常数对结果没有影响。

可得
$$\mathbf{w}={\mathbf{S}}_w^{-1}\left({\mathbf{\mu }}_0-{\mathbf{\mu }}_1\right)$$

最后将LDA推广到多分类任务中，假定存在$N$个类，且第$i$类示例数位$m_i$。我们先定义“全局散度矩阵”
$$\begin{array}{rl}{\mathbf{S}}_t& ={\mathbf{S}}_b+{\mathbf{S}}_w\\ & =\sum _{i=1}^m\left({\mathbf{x}}_i-\mathbf{\mu }\right){\left({\mathbf{x}}_i-\mathbf{\mu }\right)}^{\mathrm{T}}\end{array}$$
其中$\mathbf{\mu }$是所有示例的均值向量。将类内散度矩阵${S\text{S}S}_w$重定义为每个类别的散度矩阵之和，即
$${\mathbf{S}}_w=\sum _{i=1}^N{\mathbf{S}}_{w_i}$$
其中
$${\mathbf{S}}_{w_i}=\sum _{x\in X_i}\left(\mathbf{x}-{\mathbf{\mu }}_i\right){\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\mathrm{T}}$$
由上式可以推出
$$\begin{array}{rl}{\mathbf{S}}_b& ={\mathbf{S}}_t-{\mathbf{S}}_w\\ & =\sum _{i=1}^N{m}_i\left({\mathbf{\mu }}_i-\mathbf{\mu }\right){\left({\mathbf{\mu }}_i-\mathbf{\mu }\right)}^{\mathrm{T}}\end{array}$$
显然，多分类LDA可以有多种实现方法：使用${\mathbf{S}}_b,{\mathbf{S}}_w,{\mathbf{S}}_t$三者中的任何两个即可，常见的一种实现是采用优化目标
$$\underset{\mathbf{W}}{\max }\frac{\mathrm{tr}\left({\mathbf{W}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{W}\right)}{\mathrm{tr}\left({\mathbf{W}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{W}\right)}$$
若将$\mathbf{W}$视为一个投影矩阵，则多分类LDA将样本投影到$d$维空间，$\mathbf{W}\in {\mathbb{R}}^{d\times n}$。于是可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术。

多分类学习

考虑$N$个类别，$C_1,C_2,\dots ,C_N$，多分类学习的基本思路是“拆解法”，即将多分类任务拆分为若干个二分类任务求解。关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成。
最经典的拆分策略有三种：“一对一”（OvO）、“一对其余”（OvR）和“多对多”（MvM）。

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } , y i ∈ { C 1 , C 2 , … , C N } D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}, y_{i} \in\left\{C_{1}, C_{2}, \ldots, C_{N}\right\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)},yi​∈{C1​,C2​,…,CN​}。OvO将这$N$个类别两两配对，从而产生$N(N-1)/2$个二分类任务。对于新样本将同时交给所有分类器，于是我们得到$N(N-1)/2$个分类结果，最终结果可通过投票产生：即把被预测得最多的类别作为最终分类结果。

OvR将每一个类的样例作为正例、所有其他类的样例作为反例来训练$N$个分类器。在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果。若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

OvR只需要$N$个分类器，而OvO需训练$N(N-1)/2$个分类器，但在训练时，OvR的每个分类器均使用全部训练样例，而OvO的每个分类器仅用到两个类的样例。

MvM是每次将若干个类作为正类，若干个其他类作为反类。显然，OvO和OvR是MvM的特例。一种常用的MvM技术：“纠错输出码”（ECOC）。主要过程分为两步：

• 编码：对$N$个类别做$M$次划分，每次划分将一部分类别划分为正类，一部分划分为反类，从而形成一个二分类训练集。这样可以训练出$M$个分类器。
• 解码：$M$个分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果。

编码越长，纠错能力越强，意味着所需训练的分类器越多。同等长度的编码，任意两个类别之间的编码距离越远，则纠错能力越强。

类别不平衡问题

现有技术大体上有三种做法：

• 欠采样，去除多余的样例，使正反样例数目接近。
• 过采样，增加缺失的样例，使正反样例数目接近。
• 再缩放，根据正反样例数目，调整阈值。

参考知乎