机器学习算法笔记：线性分类

线性分类

线性回归模型不能直接用于分类任务，但仅需要加入一层非线性激活函数即可用于分类，分类方式大致可分为硬分类和软分类：

硬分类

直接输出对应类别，这类模型的代表为：

• 线性判别分析（Fisher 判别）
• 感知机

软分类

产生不同类别的概率，根据概率方法的不同分大致为两种：

• 生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯(Naive Bayes)等为代表
• 判别式（直接对条件概率进行建模）：Logistic 回归

感知机算法

激活函数

以二分类为例，将线性回归的结果映射到对应的二分类结果上，激活函数可表示为以下形式：
$$sign(a)=\{\begin{array}{c}+1,a\ge 0\\ -1,a<0\end{array}$$

损失函数

定义损失函数为错误分类的数目 I { y i w T x i < 0 } \mathbf{I}\{y_iw^Tx_i<0\} I{yi​wTxi​<0}，比较直观的方式是使用指示函数，但是指示函数不可导，因此可以定义：
$$L(w)=\sum _{x_i\in \mathcal{D}wrong}-y_i{w}^T{x}_i$$

其中，$\mathcal{D}wrong$是错误分类集合，采用梯度下降的算法训练，损失函数对 $w$ 的偏导为：
$$\frac{\partial }{\partial w}L(w)=\sum _{x_i\in \mathcal{D}wrong}-y_i{x}_i$$

所以更新策略为：
$$\begin{array}{rl}& w^{t+1}\leftarrow w^t-\lambda {\nabla }_{w}L\\ ⟹& w^{t+1}\leftarrow w^t+\lambda y_i{x}_i\end{array}$$

注意：这里要求数据线性可分，而pocket算法可允许错分类点

线性判别分析 LDA

LDA(Linear Discriminant Analysis) 基本思想就是选定一个方向，将样本顺着该方向投影，投影后的数据需满足以下两个条件可较好地分类：

• 条件一：类内近。相同类内部的试验样本距离接近。
• 条件二：类间远。不同类别之间的距离较大。

假定原数据为向量 $x$，在 $w$ 方向投影： $$z=w^T\cdot x=|w|\cdot |x|\cos \theta$$

条件一：类内近

同类样本内部应该更接近（更紧凑），假设有两类的试验样本，其数量分别是 $N_1$和 $N_2$，那么采用方差矩阵表示每类内总体分布，用 $S$ 表示原数据的协方差： $$\begin{array}{rl}{C}_1:Va{r}_z[C_1]& =\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c1}})(z_i-\overline{z_{c1}}{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T\\ & =w^T\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-\overline{x_{c1}})(x_i-\overline{x_{c1}}{)}^{T}w\\ & =w^T{S}_{1}w\\ C_2:Va{r}_z[C_2]& =\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c2}})(z_i-\overline{z_{c2}}{)}^T\\ & =w^T{S}_{2}w\end{array}$$

所以类内距离可以记为：
$$\begin{array}{r}Va{r}_z[C_1]+Va{r}_z[C_2]=w^T(S_1+S_2)w\end{array}$$

条件二：类间远

不同类间隔越远越好，用均值差的平方（两个球距离的远近可用球心距离衡量）来表示：
$$\begin{array}{rl}(\overline{z_{c1}}-\overline{z_{c2}}{)}^2& =(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2\\ & =(w^T(\overline{x_{c1}}-\overline{x_{c2}}){)}^2\\ & =w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\end{array}$$

损失函数

综合两个条件，由于协方差是一个矩阵，将两者相除得到损失函数，并将其最大化：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}J(w)& =\underset{w}{\mathrm{argmax}}\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{Va{r}_z[C_1]+Va{r}_z[C_2]}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T\stackrel{S_b\text{类间方差}}{\overbrace{(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^T}}w}{w^T\underset{S_w\text{类内方差}}{\underbrace{(S_1+S_2)}}w}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$

$w$ 只需要提供投影方向，$||w||$ 具体大小并不重要（求得方向后可令$||w||=1$求得具体的$w$值），对其求偏导，：
$$\begin{array}{rl}& \frac{\partial }{\partial w}J(w)=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0\\ ⟹& S_{b}w\underset{\text{一维实数}}{\underbrace{(w^T{S}_{w}w)}}=\underset{\text{一维实数}}{\underbrace{(w^T{S}_{b}w)}}{S}_{w}w\\ ⟹& w\propto S_w^{-1}{S}_{b}w=S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})\underset{\text{一维实数}}{\underbrace{(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w}}\\ & \propto \underset{\text{投影方向}}{\underbrace{S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})}}\end{array}$$

概率判别模型-Logistic 回归

很多时候需要得到某类别的概率（如：天气预报降水概率），那么输出应该是 $[0,1]$ 区间内的值。对于二分类问题，对 $p(C|x)$ 建模，根据用贝叶斯定理：
$$p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}$$

取 $a=\ln \frac{p(x|C_1)p(C_1)}{p(x|C_2)p(C_2)}$，于是：
$$p(C_1|x)=\frac{1}{1+\exp (-a)}$$

上式即 Logistic Sigmoid 函数，其参数表示了两类联合概率比值的对数。因此可以令：$a=w^{T}x$，找到最佳参数 $w$ ，即可得到最佳Logistic 回归模型。

概率判别模型常用最大似然估计的方式来确定参数，对于一次观测，获得分类 $y$ 的概率为（假定$C_1=1,C_2=0$）：
$$p(y|x)=p_1^y{p}_0^{1-y}$$

那么对于 $N$ 次独立全同观测 MLE为：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}J(w)& =\underset{w}{\mathrm{argmax}}\sum _{i=1}^N(y_i\log p_1+(1-y_i)\log p_0)\\ & =\underset{w}{\mathrm{argmin}}\underset{crossentropy}{\underbrace{\sum _{i=1}^N-(y_i\log p_1+(1-y_i)\log p_0)}}\end{array}$$

由于有：
$$p_1^{\prime }=(\frac{1}{1+\exp (-a)}{)}^{\prime }=p_1(1-p_1)$$

则对该表达式求导：
$$J^{\prime }(w)=\sum _{i=1}^N{y}_i(1-p_1)x_i-p_1{x}_i+y_i{p}_1{x}_i=\sum _{i=1}^N(y_i-p_1)x_i$$

上式无法直接求解，和感知机类似，也可以使用不同大小的批量随机梯度上升（对于最小化就是梯度下降）来得到函数极大值。

概率生成模型-高斯判别分析 GDA

生成模型用于分类其实就是对联合概率分布进行建模 $p(Y|X)\propto p(X|Y)p(Y)=p(X,Y)$，因为分类并不需要得到$p(Y|X)$具体值，分类只要比较大小即可。然后采用 MAP 来获得最佳参数，针对二分类情况，假设：

• $y\sim Bernoulli(\varphi )$
• $x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$
• $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$

$log-likelihood$ 可表示为：
$$\begin{array}{rl}& \mathcal{L}(\theta )=\log \prod _{i=1}^{N}p(x_i,y_i)\\ & =\sum _{i=1}^N\log (p(x_i|y_i)\cdot p(y_i))\\ & =\sum _{i=1}^N(\log p(x_i|y_i)+\log p(y_i))\\ & =\sum _{i=1}^N(\log \mathcal{N}({\mu }_0,\Sigma {)}^{1-y_i}+\log \mathcal{N}({\mu }_1,\Sigma {)}^{y_i}+\log {\varphi }^{y_i}(1-\varphi {)}^{1-y_i})\\ & =\underset{1}{\underbrace{\sum _{i=1}^N\log \mathcal{N}({\mu }_0,\Sigma {)}^{1-y_i}}}+\underset{2}{\underbrace{\sum _{i=1}^N\log \mathcal{N}({\mu }_1,\Sigma {)}^{y_i}}}+\underset{3}{\underbrace{\sum _{i=1}^N\log {\varphi }^{y_i}(1-\varphi {)}^{1-y_i}}}\\ ⟹& \underset{\varphi ,{\mu }_0,{\mu }_1,\Sigma }{\mathrm{argmax}}\mathcal{L}(\theta )=\underset{\varphi ,{\mu }_0,{\mu }_1,\Sigma }{\mathrm{argmax}}1+2+3\end{array}$$

1、首先求解$\boxed{\varphi }$ ，对其求偏导：
$$\begin{array}{rl}& \sum _{i=1}^N\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi }=0\\ ⟹& \varphi =\frac{\sum _{i=1}^N{y}_i}{N}=\frac{N_1}{N}\end{array}$$

2、然后求解 $\boxed{{\mu }_1}$：
$$\begin{array}{rl}\widehat{{\mu }_1}& =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma )\\ & =\underset{{\mu }_1}{\mathrm{argmin}}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\end{array}$$

由于：
$$\begin{array}{rl}& \sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\\ & =\sum _{i=1}^N{y}_i{x}_i^T{\Sigma }^{-1}{x}_i-2y_i{\mu }_1^T{\Sigma }^{-1}{x}_i+y_i{\mu }_1^T{\Sigma }^{-1}{\mu }_1\end{array}$$

提取${\mu }_1$相关项：
$$\begin{array}{rl}& \sum _{i=1}^N-2y_i{\Sigma }^{-1}{x}_i+2y_i{\Sigma }^{-1}{\mu }_1=0\\ ⟹{\mu }_1& =\frac{\sum _{i=1}^N{y}_i{x}_i}{\sum _{i=1}^N{y}_i}=\frac{\sum _{i=1}^N{y}_i{x}_i}{N_1}\end{array}$$

3、求解 $\boxed{{\mu }_0}$，由于正反例是对称的，所以： $${\mu }_0=\frac{\sum _{i=1}^N(1-y_i)x_i}{N_0}$$

4、求解 $\boxed{\Sigma }$
模型假设正反例的协方差矩阵相同，由上面几个参数的解可知：即使协方差矩阵不同也不会影响前面三个参数的求解。
$$\begin{gathered} \text{先验知识} \\ \boxed{\begin{array}{rl}& tr(AB)=tr(BA)\\ & tr(ABC)=tr(CAB)=tr(BCA)\\ & \frac{\partial }{\partial A}(|A|)=|A|A^{-1}\\ & \frac{\partial }{\partial A}Trace(AB)=B^T\end{array}} \end{gathered}$$

首先有：
$$\begin{array}{rl}\sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )& =\sum _{i=1}^N\log (\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}})+(-\frac{1}{2}\underset{\text{一维实数}}{\underbrace{(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )}})\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace(\underset{S}{\underbrace{(x_i-\mu )(x_i-\mu {)}^T}}{\Sigma }^{-1})\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}NTrace(S{\Sigma }^{-1})\end{array}$$

因此：
$$\begin{array}{r}1+2=Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}{N}_{1}Trace(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{2}Trace(S_2{\Sigma }^{-1})\end{array}$$

其中，$S_1,S_2$ 分别为两类数据内部的协方差矩阵，又因为只有 $1$ 和 $2$ 项与 $\Sigma$ 有关，对 $\Sigma$ 求偏导并令其为 0 ：
$$\begin{array}{rl}& \frac{\partial 1+2}{\Sigma }=N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0\\ ⟹& \Sigma =\frac{N_1{S}_1+N_2{S}_2}{N}\end{array}$$

上式利用了协方差矩阵的对称性。至此，模型所有参数都已得到。

概率生成模型-朴素贝叶斯

朴素贝叶斯假设=条件独立性假设
上面的高斯判别分析的是对数据集的分布作出了高斯分布的假设，同时引入伯努利分布作为类先验，从而利用最大后验求得这些假设中的参数。

要得到 $p(x|y)$ ，由于 $x$ 为 $p$ 维，因此需要对高维度的联合概率进行采样，但高维空间的采样需要非常大样本量才能获得较为准确的概率近似。为简化计算，朴素贝叶斯对数据的属性之间的关系作出了朴素贝叶斯假设（条件独立性假设）：
$$p(x|y)=\prod _{i=1}^{p}p(x_i|y)$$

也就是： $$x_i\perp x_j|y,\forall i\ne j$$

根据贝叶斯定理： $$p(y|x)=\frac{p(y,x)}{p(x)}=\frac{p(x|y)p(y)}{p(x)}\propto p(x|y)p(y)=\prod _{i=1}^{p}p(x_i|y)p(y)$$

假如还是二分类问题分布
y ^ = arg max ⁡ y p ( y ∣ x ) = arg max ⁡ y = { 0 , 1 } ∏ i = 1 p p ( x i ∣ y ) p ( y ) \hat y =\argmax_y p(y|x) =\argmax_{y=\{0,1\}} {\prod\limits_{i=1}^pp(x_i|y)p(y)} y^​=yargmax​p(y∣x)=y={0,1}argmax​i=1∏p​p(xi​∣y)p(y)

参考文献

【1】线性分类
【2】感知机原理小结
【3】逻辑回归原理小结
【4】scikit-learn 逻辑回归类库使用小结
【5】线性判别分析LDA原理总结