线性模型

线性模型

作者：little-xu

时间：2021/1/14

基本形式

给定由d个属性描述的实例$x=(x_1;x_2;\cdots ;x_d)$,其中$x_i$是$x$在第i个属性上的取值,线性模型试图学的一个预测函数，即

$$\begin{array}{r}f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b\end{array}$$

概括的矩阵形式

$$\begin{array}{r}f(x)=w^{T}x+b\end{array}$$

例如：

$$\begin{array}{r}{f}_{好瓜}(x)=0.2x_{色泽}+0.5x_{根蒂}+0.3x_{敲声}+1\end{array}$$

线性回归

线性回归

$$\begin{array}{r}f(x_i)=w{x}_i+b\end{array}$$

我们试图取均方误差最小来试图模拟该函数

$$\begin{array}{rl}MSE& ={\mathrm{argmin}}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & ={\mathrm{argmin}}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\\ & ={\mathrm{argmin}}_{(w,b)}\sum _{i=1}^m[w{x}_i-(y_i-b){]}^2\end{array}$$

$argmin$知识小扩展

Conception

线性回归模型的最小二乘“参数估计”：

求解$w$和$b$使$E_{(}w,b)={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小化的过程

$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\\ \frac{\partial E_{(w,b)}}{\partial b}& =(mb-\sum _{i=1}^m(y_i-w{x}_i))\end{array}$$

另上式子为$0$，得到$w$和$b$最优解的闭式($close-form$)解

$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}\\ b& =\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)\end{array}$$

[推导]:由公式得$b=\bar{y}-w\bar{x}$

$$\begin{array}{rl}w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^{m}b{x}_i\\ w\sum _{i=1}^m{x}_i^2& =\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^m(\bar{y}-w\bar{x})x_i\\ w(\sum _{i=1}^m{x}_i^2-\bar{x}\sum _{i=1}^m{x}_i)& =\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i\\ w& =\frac{{\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}\\ w& =\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}\end{array}$$

矩阵高度概括多元线性回归形式

$$\begin{array}{rl}f(x_i)& =w^T{x}_i+b\end{array}$$

其中数据集D表示为一个$m\times (d+1)$大小的矩阵$X$

个人理解：个人感觉这个1是当$f(x)为$没有特征$x$的形式

$$\begin{array}{rl}{\hat{w}}^{\ast }& ={\mathrm{argmin}}_{\hat{\mathbf{w}}}(y-X\hat{\mathbf{w}}{)}^T(y-X\hat{\mathbf{w}})\\ & ={\mathrm{argmin}}_{\hat{\mathbf{w}}}(y-X\hat{\mathbf{w}}{)}^2\end{array}$$

令$E_{\hat{\mathbf{w}}}=(y-X\hat{w}{)}^T(y-X\hat{w})$,对$\hat{\mathbf{w}}$求导得

$$\begin{array}{rl}\frac{\partial E_{(\mathbf{w},b)}}{\partial w}& =2X^T(X\hat{\mathbf{w}}-y)\end{array}$$

推导

矩阵微分公式$\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a},\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}})\mathbf{x}$

当$X^{T}X$为满秩矩阵或正定矩阵时

$$\begin{array}{rl}0& =2X^T(X\hat{\mathbf{w}}-y)\\ X^{T}X\hat{\mathbf{w}}& =X^{T}y\\ \hat{\mathbf{w}}& =(X^{T}X{)}^{-1}{X}^{T}y\end{array}$$

最终学的线性回归模型

$$\begin{array}{r}f({\hat{\mathbf{x}}}_i)={\hat{\mathbf{x}}}_i^T(X^{T}X{)}^{-1}{X}^{T}y\end{array}$$

如果对应的标记在指数尺度上变化,可让输出取对数作为线性模型逼近目标

$$\begin{array}{r}\ln y=w^T+b\end{array}$$

此处可能暗示还有其他模型，个人揣测还有对数模型，就是拟合函数取一个比较接近数据分布的函数。

对数几率回归

生活中许多问题是二分类问题，比如用户购买商品，买还是不买，我们可以设置模型当概率大于$0.5$就是买，可取$Sigmoid$函数，将值转化为$0/1$问题

最理想的是：单位阶跃函数(unit-step function)

$$\begin{array}{r}y=\{\begin{array}{ll}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}\end{array}$$

预测值$z$大于$0$判定为正例，小于$0$为反例，预测值为临界值$0$则任意判别

$Sigmoid$函数：

$$\begin{array}{r}y=\frac{1}{1+e^{-z}}\end{array}$$

可将我们的线性模型预测的概率带入$Sigimoid$函数预测输出

$$\begin{array}{rl}y& =\frac{1}{1+e^{-(w^{T}x+b)}}\\ \frac{1}{y}& =1+e^{-(w^{T}x+b)}\\ -z& =\ln \frac{y}{1-y}\\ \ln \frac{y}{1-y}& =w^{T}x+b\end{array}$$

Conception

$y$看作样本正例的可能性，则$1-y$则是反例的可能性，两者比值$\frac{y}{1-y}$称为几率

对几率取对数$\ln \frac{y}{1-y}$得到对数几率

注意：分类学习方法

若将公式$(29)$看作类后验概率估计$p(y=1\mid x)$则有

$$\begin{array}{rl}p(y=1\mid x)& =\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}=\pi (x)\\ p(y=0\mid x)& =\frac{1}{1+e^{w^{T}x+b}}=1-\pi (x)\end{array}$$

则通过极大似然法估计$w$和$b$,对数回归模型最大化“对数似然”,用局部数据估计整体。

似然函数为

$$\begin{array}{r}\coprod _{i=1}^N[\pi (x_i{)}^{y_i}][1-\pi (x_i){]}^{1-y_i}\end{array}$$

对数似然

$$\begin{array}{rl}L(w,b)& =\sum _{i=1}^m[y_i\ln \pi (x_i)+(1-y_i)\ln (1-\pi (x_i))]\\ & =\sum _{i=1}^m[y_i\ln \frac{\pi (x_i)}{1-\pi (x_i)}+(1-y_i)\ln (1-\pi (x_i))]\\ & =\sum _{i=1}^m[y_i(w{x}_i+b)-\ln (1+e^{w{x}_i+b})]\end{array}$$

对$L(x)$求极大值，得到$w$的估计值

令$\beta =(w;b)$，$\hat{\mathbf{x}}=(x;1)$则${\beta }^T\hat{\mathbf{x}}=w^{T}x+b$

L ( β ) = ∑ i = 1 m ln ⁡ ( [ p 1 ( x ^ i ; β ) ] y i [ p 0 ( x ^ i ; β ) ] 1 − y i ) = ∑ i = 1 m [ y i ln ⁡ ( p 1 ( x ^ i ; β ) ) + ( 1 − y i ) ln ⁡ ( p 0 ( x ^ i ; β ) ) ] = ∑ i = 1 m { y i [ ln ⁡ ( p 1 ( x ^ i ; β ) ) − ln ⁡ ( p 0 ( x ^ i ; β ) ) ] + ln ⁡ ( p 0 ( x ^ i ; β ) ) } = ∑ i = 1 m [ y i ln ⁡ ( p 1 ( x ^ i ; β ) p 0 ( x ^ i ; β ) ) + ln ⁡ ( p 0 ( x ^ i ; β ) ) ] = ∑ i = 1 m [ y i ln ⁡ ( e β T x ^ i ) + ln ⁡ ( 1 1 + e β T x ^ i ) ] = ∑ i = 1 m ( y i β T x ^ i − ln ⁡ ( 1 + e β T x ^ i ) ) \begin{aligned} % 参数环境是align，公式带编号 L(\boldsymbol{\beta}) & =\sum_{i=1}^{m}\ln\left([p_1(\hat{\boldsymbol x}_i;\boldsymbol{\beta})]^{y_i}[p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})]^{1-y_i}\right) \\ & = \sum_{i=1}^{m}\left[y_i\ln\left(p_1(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)+(1-y_i)\ln\left(p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)\right] \\ & = \sum_{i=1}^{m} \left \{ y_i\left[\ln\left(p_1(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)-\ln\left(p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)\right]+\ln\left(p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)\right\} \\ & = \sum_{i=1}^{m}\left[y_i\ln\left(\cfrac{p_1(\hat{\boldsymbol x}_i;\boldsymbol{\beta})}{p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})}\right)+\ln\left(p_0(\hat{\boldsymbol x}_i;\boldsymbol{\beta})\right)\right] \\ &=\sum_{i=1}^{m}\left[y_i\ln\left(e^{\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol x}_i}\right)+\ln\left(\cfrac{1}{1+e^{\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol x}_i}}\right)\right] \\ & = \sum_{i=1}^{m}\left(y_i\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol x}_i-\ln(1+e^{\boldsymbol{\beta}^{\mathrm{T}}\hat{\boldsymbol x}_i})\right) \end{aligned} L(β)​=i=1∑m​ln([p1​(x^i​;β)]yi​[p0​(x^i​;β)]1−yi​)=i=1∑m​[yi​ln(p1​(x^i​;β))+(1−yi​)ln(p0​(x^i​;β))]=i=1∑m​{yi​[ln(p1​(x^i​;β))−ln(p0​(x^i​;β))]+ln(p0​(x^i​;β))}=i=1∑m​[yi​ln(p0​(x^i​;β)p1​(x^i​;β)​)+ln(p0​(x^i​;β))]=i=1∑m​[yi​ln(eβTx^i​)+ln(1+eβTx^i​1​)]=i=1∑m​(yi​βTx^i​−ln(1+eβTx^i​))​

$$\begin{array}{r}{\beta }^{\ast }={\mathrm{argmax}}_{\beta }L(\beta )\end{array}$$

令$p_1({\hat{\mathbf{x}}}_i;\mathbf{\beta })=\pi (x_i)$，将此式向量化

$$\begin{array}{rl}\frac{\partial L(\mathbf{\beta })}{\partial \mathbf{\beta }}& =-\sum _{i=1}^m{\hat{\mathbf{x}}}_i(y_i-p_i(\widehat{{\mathbf{x}}_i};\beta ))\\ & =-\sum _{i=1}^m{\hat{\mathbf{x}}}_i(y_i-\pi (x_i))\\ & =\sum _{i=1}^m{\hat{\mathbf{x}}}_i(\pi (x_i)-y_i)\\ & ={\mathbf{X}}^{\mathrm{T}}(\mathbf{\pi }(\mathbf{X})-\mathbf{y})\\ & ={\mathbf{X}}^{\mathrm{T}}(p_1(\mathbf{X};\mathbf{\beta })-\mathbf{y})\\ & \\ \frac{{\partial }^{2}L(\beta )}{\partial \beta \partial {\beta }^T}& =\sum _{i=1}^m\widehat{{\mathbf{x}}_i}{\widehat{{\mathbf{x}}_i}}^T{p}_1(\widehat{{\mathbf{x}}_i};\beta )(1-p_1(\widehat{{\mathbf{x}}_i};\beta )\end{array}$$

利用牛顿法求最优解，$t+1$轮迭代更新公式

$$\begin{array}{r}{\beta }^{t+i}={\beta }^t-(\frac{{\partial }^{2}L(\beta )}{\partial \beta \partial {\beta }^T}{)}^{-1}\frac{\partial L(\beta )}{\partial \beta }\end{array}$$

线性判别分析

LDA:二分类问题，数据集在坐标轴上有$2$簇数据，在坐标轴上做一条直线，使得同类数据在直线上投影更加集中，异类数据投影经可能远离，所以在测试集上的数据我们可以通过投影来判断分类是正例还是反例。

数据集 D = { ( x i , y i ) } i = 1 m , y i ∈ { 0 , 1 } , D=\{(x_i,y_i)\}_{i=1}^{m},y_i\in\{0,1\}, D={(xi​,yi​)}i=1m​,yi​∈{0,1},令$X_i、{\mu }_i、{\Sigma }_i$分别表示$i\in 0,1$类实例的集合，均值向量(样本中心)，协方差矩阵。若将数据投影到直线$w$(可以看成单位向量)上，则样本投影分别为$w^T{\mu }_0$和$w^T{u}_1$(向量乘法),

尚未解决😭:投影到直线后，两类样本协方差分别为$w^T{\Sigma }_{0}w$和$w^T{\Sigma }_{1}w$.(不知道，不懂得，不晓得)。今天键盘打错字之手残链接

同类样本协方差尽可能小即$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$尽可能小(同类样本在直线$w$上投影尽量靠近样本中心，样本数据差异尽量缩小)

异类样本投影点尽量远离即$\Vert w^T{u}_0-w^T{u}_1{\Vert }_2^2$尽可能大(范数平方,两者投影在$w$距离的平方，异类样本投影中心尽量远)

所以我们欲最大化$J$来得到这样的直线$w$.🔰

$$\begin{array}{rl}J& =\frac{\Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}\\ & =\frac{\Vert ({\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{)}^{\mathrm{T}}{\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}\\ & =\frac{\Vert ({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}{\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}\\ & =\frac{{\left[({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}\right]}^{\mathrm{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}\\ & =\frac{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}\end{array}$$

Conception

类内散度矩阵:

$$\begin{array}{rl}{S}_w& ={\Sigma }_0+{\Sigma }_1\\ & =\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_0)(x-{\mu }_0{)}^T\end{array}$$

类间散度矩阵：样本距离的平方

$$\begin{array}{rl}{S}_b& =({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\end{array}$$

简化$J$

$$\begin{array}{rl}J& =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$

我们试图寻找一条直线$w$,与该直线长度无关，但是与方向有关。使得$J$最大

疑惑: 😭$why$ $w^T{S}_{w}w=1$.我们假定分母$w^T{S}_{w}w=1$,然后就要求$w^T{S}_{b}w=1$

最大值。之后我们求得了$w^T{S}_{b}w=1$最大值。但是$w^T{S}_{w}w=$并不等于$1$

当$w^T{S}_{w}w$更小的时候。我们的$J$就会变动取得更大的值。

解答:自己蠢得可以😆刚想出来了。还是一个理，分母一定，在分母限制条件中让分子取得最大值。设置未知数$C$,令$w^T{S}_{w}w=C$,则我们所求的$\begin{array}{rl}J& =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$可以转化为$\begin{array}{rl}J& =\frac{\frac{1}{C}{w}^T{S}_{b}w}{\frac{1}{C}{w}^T{S}_{w}w}\end{array}$

线性规划，目标函数是$\frac{1}{C}{w}^T{S}_{b}w$，约束条件$\frac{1}{C}{w}^T{S}_{w}w=1$.求$\frac{1}{C}{w}^T{S}_{b}w$最大值，可以转化为求$-\frac{1}{C}{w}^T{S}_{b}w$最小值

$$\begin{array}{rl}& {\min }_w-\frac{1}{C}{w}^T{S}_{b}w\\ & s.t\frac{1}{C}{w}^T{S}_{w}w=1\end{array}$$

等价于

$$\begin{array}{rl}& {\min }_w-w^T{S}_{b}w\\ & s.t{w}^T{S}_{w}w=1\end{array}$$

我们求得目标函数后还是带入$J$中，结果不变。将一个极值问题转化为线性规划问题。又拉格朗日数乘可知

$$\begin{array}{r}L(\mathbf{w},\lambda )=-{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}+\lambda ({\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}-1)\end{array}$$

对$\mathbf{w}$求偏导可得

$$\begin{array}{rl}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}& =-\frac{\partial ({\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w})}{\partial \mathbf{w}}+\lambda \frac{\partial ({\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}-1)}{\partial \mathbf{w}}\\ & =-({\mathbf{S}}_b+{\mathbf{S}}_b^{\mathrm{T}})\mathbf{w}+\lambda ({\mathbf{S}}_w+{\mathbf{S}}_w^{\mathrm{T}})\mathbf{w}\end{array}$$

由于${\mathbf{S}}_b={\mathbf{S}}_b^{\mathrm{T}}=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T,{\mathbf{S}}_w={\mathbf{S}}_w^{\mathrm{T}}$,(${\mathbf{S}}_w$是协方差矩阵，举例样本$1$与样本$3$差异是${\mathbf{S}}_{13}=0.5$，那么样本$3$与样本$1$差距${\mathbf{S}}_{31}=0.5$,对角矩阵)所以

$$\begin{array}{rl}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}& =-2{\mathbf{S}}_b\mathbf{w}+2\lambda {\mathbf{S}}_w\mathbf{w}\end{array}$$

令上式等于$0$即可得

$$\begin{array}{r}-2{\mathbf{S}}_b\mathbf{w}+2\lambda {\mathbf{S}}_w\mathbf{w}=0\\ {\mathbf{S}}_b\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}\end{array}$$

由于我们想要求解的只有$\mathbf{w}$，而$\lambda$这个拉格朗乘子具体取值多少都无所谓，因此我们可以任意设定$\lambda$来配合我们求解$\mathbf{w}$。我们注意到

$$\begin{array}{r}{\mathbf{S}}_b\mathbf{w}=({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}\end{array}$$

如果我们令$\lambda$恒等于$({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}$，那么上式即可改写为$${\mathbf{S}}_b\mathbf{w}=\lambda ({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)$$

将其代入${\mathbf{S}}_b\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}$即可解得

$$\begin{array}{r}\mathbf{w}={\mathbf{S}}_w^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)\end{array}$$

对${\mathbf{S}}_w^{-1}$求解，通常是对${\mathbf{S}}_w$奇异值分解，${\mathbf{S}}_w=U\Sigma V^T$,$\Sigma$是是实对称矩阵，对角线上元素是${\mathbf{S}}_w$的奇异值。之后可利用${\mathbf{S}}_w=U\Sigma V^T$求得${\mathbf{S}}_w^{-1}=V{\Sigma }^{-1}{U}^T$

疑惑:拉格朗日数乘让我们得到两个关于$\lambda$和$w$的二元方程，$w$的求解需要$\lambda$的配合，我们令$\lambda$恒等于$({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}$后，确实满足了$\begin{array}{rl}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}& =0\end{array}$,但是$\begin{array}{r}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}\end{array}$是否满足为$0$呢??如果不为$0$？我们求得$-w^T{S}_{b}w$又是否是最小值？？如果$J$不是最优值，我们求得$w$是$\lambda$配合求解的值，那么又有什么意义呢?

Little-Knowledge

LDA可从贝叶斯决策理论阐释，当两类数据先验，满足高斯分布且协方差相等时，LDA可达到最优分类。

Conception

多元推广，高度概括:

假定存在$N$个类，第i类示例数为$m_i$,定义“全局散度矩阵”

$$\begin{array}{rl}{\mathbf{S}}_t& ={\mathbf{S}}_b+{\mathbf{S}}_w\\ & =\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^T\end{array}$$

$\mu$是所有示例的均值向量，类内散度矩阵${\mathbf{S}}_w$定义为每个类别散度矩阵之和

$$\begin{array}{rl}{\mathbf{S}}_w& =\sum _{i=1}^N{\mathbf{S}}_{w_i}\\ {\mathbf{S}}_{w_i}& =\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T\end{array}$$

多分类学习

一对一 (OvO)

假如某个分类中有N个类别，我们将这N个类别进行两两配对（两两配对后转化为二分类问题）。那么我们可以得到个二分类器。（简单解释一下，相当于在N个类别里面抽2个）

之后，在测试阶段，我们把新样本交给这个二分类器。于是我们可以得到个分类结果。把预测的最多的类别作为预测的结果。

电影《假如爱有天意》，爱情，战争，奇幻，动画。

我们两两组合分类器，分类器$1$(爱情，战争)，分类器$2$(爱情，奇幻)，分类器$3$(爱情，动画)，分类器$4$(战争，奇幻)，分类器$5$(战争，动画)，分类器$6$(奇幻，动画)。

测试集《假如爱有天意》，分类器结果分别是爱情，爱情，爱情，战争，战争，奇幻。我们取预测最多的分类结果，将电影《假如爱有天意》分类为爱情。

一对其余 (OvR)

一对其余其实更加好理解，每次将一个类别作为正类，其余类别作为负类。此时共有（N个分类器）。在测试的时候若仅有一个分类器预测为正类，则对应的类别标记为最终的分类结果。例如下面这个例子。

注意:此处强调只有一个分类器预测为正例

电影《泰坦尼克号》，爱情，战争，奇幻，动画。

我们两两组合分类器，分类器$1$(是爱情，非爱情)，分类器$2$(是战争，非战争)，分类器$3$(是奇幻，非奇幻)，分类器$4$(是动画，非动画)，

测试集《泰坦尼克号》，分类器结果分别是是爱情，非战争，非奇幻，非动画。我们取预测正例，将电影《泰坦尼克号》分类为爱情。

但是假如此处我们的测试集是《假如爱有天意》，它真的不能分为战争吗，答案显然是否定的。所以有多个分类器器时，通常考虑各分类器的预测置信度，也就是权重，分类器$1$(是爱情，非爱情)可信度$1$,分类器$2$(是战争，非战争)可信度$0.9$,选择置信度最大的。

反思:笔者认为这里完全可以两个结果爱情战都可以采用，完全可以多元二分类。

$OvO$和$OvR$各有千秋

OvR只需训练N个分类器，而OvO需训练$N(N-1)/2$个分类器， 因此，OvO的存储开销和测试时间开销通常比OvR更大。但在训练时，OvR的每个分类器均使用全部训练样例，而OvO的每个分类器仅用到两个类的样例，因此，在类别很多时，OvO的训练时间开销通常比OvR更小。至于预测性能，则取决于具体的数据分布，在多数情形下两者差不多。

综上:

OvO的优点是，在类别很多时，训练时间要比OvR少(比较方便区分，区分快)。缺点是，分类器个数多。

OvR的优点是，分类器个数少，存储开销和测试时间比OvO少。缺点是，类别很多时，训练时间长。

多对多(MvM)

输出纠错编码($ECOOC$)

二元码

$ECOOC$的思想是对于$N$训练集做$M$次划分，每次划分选择一些类别作为正例，剩下的类别作为反例来训练得到一个二分类器，于是可以训练得到$M$个二分类器 { f 1 , f 2 , f 3 , f 4 , f 5 } \{f_1,f_2,f_3,f_4,f_5\} {f1​,f2​,f3​,f4​,f5​}。

比如只含$C_1,C_2,C_3,C_4$类的训练集用分类器进行分类，正例标记为$1$,反例标记为$-1$，得到如下图

	$f_1$	$f_2$	$f_3$	$f_4$	$f_5$	海明距离	欧式距离
$C_1$	-1	+1	-1	+1	+1	3	$2\sqrt{3}$
$C_2$	+1	-1	-1	+1	-1	4	4
$C_3$	-1	+1	+1	-1	+1	1	2
$C_4$	-1	-1	+1	+1	-1	2	$2\sqrt{2}$
测试集	-1	-1	+1	-1	+1

测试集也被分类器划分好，由于我们数据只有$C_1,C_2,C_3,C_4$四种类别，测试集必然属于$C_1,C_2,C_3,C_4$其中一种。要么就是噪声点或异常点(当然不可能存在)，则我们可以用海明距离或者欧式距离表示测试集与$C_1,C_2,C_3,C_4$像似度。值越小，越像似，所以我们可以把该测试集归类为$C_3$类

三元码

通俗举例来说将只含$C_1,C_2,C_3,C_4$类的训练集用分类器进行分类，正例标记为$1$,反例标记为$-1$，中间态为$0$(可以把它想象成墙头草，两边倒，或者正例反例难以区分)，与二元码同理，以此类推。

优点

ECOC编码对分类器的错误有一定的容忍和修正能力。一般来说，对同一个学习任务，ECOC编码越长，纠错能力越强。(当一个分类器分类错误，由于数据集被我们划分了很多次(也就是ECOC编码越长),对于海明距离或欧式距离影响越小(相似度影响越小小))

缺点

编码越长，意味着所需训练的分类器越多，计算、存储开销都会增大；另一方面，对有限类别数，可能的组合数目是有限的，码长超过一定范围后就失去了意义。(就是一个很小数据集，你划分一亿个就有点大题小用了，所以说要适当，下一段就是针对划分多少次问题讨论)

对同等长度的编码，理论上来说，任意两个类别之间的编码距离越远(两个类别相似度很低)，则纠错能力越强(易于区分)。更具这个原则计算出理论最优编码(划分多少次，与$LDA$差不多，求直线$w$,我们这里是求编码长度，划分多少次才是最优)。通常我们并不需获得理论最优编码，因为非最优编码在实践中往往己能产生足够好的分类器。另一方面，因为机器学习问题涉及很多因素，有时候区分度不大，就更百度云盘下载验证码一样，人都难以区分字母，我们的MvM正反例就不好设计。

类别不平衡问题

假设数据集中$998$反例，只有$2$正例。就算我们模型学习器直接全判定为反例，正确率也有$99.8\%$。然而这样学习器并没有什么用。我们真正有价值的是那个正例。就好比买彩票一样，我们直接判定这张彩票$99\%$都中不了奖。然而这并没有什么用。真正有用的是我们预测出那张中奖了。所以有必要了解类别不平衡方法。

于是我们可以设置概率阀值$0.5$,正例概率大于$0.5$,即正例概率大于反例概率即可判定为正例，即$\frac{y}{1-y}>1$

也可以令$m^{+}$表示为正例，令$m^{-}$表示为反例，设置阀值为$\frac{m+}{m^{-}}$ 当预测正例概率大于样本中观测样本概率判定为正例。即$\frac{y}{1-y}>\frac{m+}{m^{-}}$。我们可将其变形得到$\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}=\frac{y^{\ast }}{1-y^{\ast }}$.但是操作往往有很多问题，因为我们未必能从局部数据概率来估计真实概率。

解决方法

1.欠采样:去除一些反例，使正例，反例数目接近。算法有：EasyEnsemble

2.过采样:增加一些正例，使正例，反例数目接近。常见的算法有SMOTE

3.直接对原始训练集进行学习，$\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}=\frac{y^{\ast }}{1-y^{\ast }}$更改阈值

欠采样法丢弃很多反例数据集，过采样法增加很多正例，但是注意不能重复采样，否则会导致过拟合。

代价敏感学习可用$cos{t}^{+}/cos{t}^{-}$代替$m^{-}/m^{+}$。$cos{t}^{+}$是正例误分类为反例的代价，$cos{t}^{-}$是将反例误分为正例的代价