机器学习——线性分类

线性分类

对于分类任务，线性回归模型就无能为力了，但是我们可以在线性模型的函数进行后再加入一层激活函数，这个函数是非线性的，激活函数的反函数叫做链接函数。我们有两种线性分类的方式：

1. 硬分类，我们直接需要输出观测对应的分类。这类模型的代表为：

• 线性判别分析（Fisher判别）
• 感知机

2. 软分类，产生不同类别的概率，这类算法根据概率方法的不同分为两种

• 生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯等为代表
• 判别式（直接对条件概率进行建模）：Logistic回归

二分类-硬分类-感知机算法

我们选取激活函数为：
$$xsign(a)=\{\begin{array}{c}+1,a\ge 0\\ -1,a<0\end{array}$$
这样就可以将线性回归的结果映射到两分类的结果上了。
定义损失函数为错误分类的数目，比较直观的方式是使用指示函数，但是指示函数不可导，因此可以定义：
$$L(w)=\sum _{x_i\in {\mathcal{D}}_{wrong}}-y_i{w}^T{x}_i$$
其中，${\mathcal{D}}_{wrong}$是错误分类集合，实际在每一次训练的时候，我们采用梯度下降的算法。损失函数对$w$的偏导为：
$$\frac{\partial }{\partial w}L(w)=\sum _{x_i\in {\mathcal{D}}_{wrong}}-y_i{x}_i$$
但是如果样本非常多的情况下，计算复杂度较高，但是，实际上我们并不需要绝对的损失函数下降的方向，我们只需要损失函数的期望值下降，但是计算期望需要知道真实的概率分布，我们实际只能根据训练数据抽样来估算这个概率分布（经验风险）：
$${\mathbb{E}}_{\mathcal{D}}[{\mathbb{E}}_{\hat{p}}[{\nabla }_{w}L(w)]]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{\nabla }_{w}L(w)]$$
我们知道，N越大，样本近似真实分布越准确，但是对于一个标准差为$\sigma$的数据，可以确定的标准差仅和$\sqrt{N}$成反比，而计算速度却和N成正比。因此可以每次使用较少样本，则在数学期望的意义上损失降低的同时，又可以提高计算速度，如果每次只使用一个错误样本，我们有以下的更新策略：
$$w^{t+1}\leftarrow w^t+\lambda y_i{x}_i$$
是可以收敛的，同时使用单个观测更新也可以在一定程度上增加不确定度，从而减轻陷入局部最小的可能。

二分类-硬分类-线性判别分析LDA

在LDA中，我们的基本想法是选定一个方向，将试验样本顺着这个方向投影，投影后的数据需要满足两个条件，从而可以更好地分类：

• 相同类内部的试验样本距离接近
• 不同类别之间的距离较大
  首先是投影，我们假定原来的数据是向量x，那么顺着w方向的投影就是标量：
  $$z=w^{T}x(=|w|.|x|cos\theta )$$
  对第一点，相同类内部的样本更为接近，我们假设属于两类的试验样本数量分别是$N_1$和$N_2$，那么我们采用方差矩阵来表征每一个类内的总体分布，这里我们使用了协方差的定义，用S表示原数据的协方差：
  $$\begin{gathered} C1:Va{r}_z[C_1]=\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c1}})(z_i-\overline{z_{c1}}{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T \\ =w^T\frac{1}{N_1}\sum _{i=1}^{N_i}(x_i-\overline{x_{c1}})(x_i-\overline{x_{c1}}{)}^{T}w \\ =w^T{S}_{1}w \end{gathered}$$
  $$\begin{gathered} C_2:Va{r}_z[C_2]=\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c2}})(z_i-\overline{z_{c2}}{)}^T \\ =w^T{S}_{2}w \end{gathered}$$
  类内距离可以记为
  $$Va{r}_z[C_1]+Va{r}_z[C_2]=w^T(S_1+S_2)w$$
  对于类间距离，我们可以用两类的均值表示这个距离：
  $$\begin{gathered} (\overline{z_{c1}}-\overline{z_{c2}}{)}^2=(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2 \\ =(w^T(\overline{x_{c1}}-\overline{x_{c2}}){)}^2 \\ =w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}-\stackrel{ˉ}{x_{c2}}}{)}^{T}w \end{gathered}$$
  综合这两点，由于协方差是一个矩阵，于是我们将这两个值相除来得到我们的损失函数，并最大化这个值：
  $$\begin{gathered} \hat{w}=argma{x}_{w}J(w)=argma{x}_w\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{Va{r}_z[C_1]+Va{r}_z[C_2]} \\ =argma{x}_w\frac{w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{c1}-\overline{x_{c2}}{)}^{T}w}{w^T(S_1+S_2)w} \\ =argma{x}_w\frac{w^T{S}_{b}w}{w^T{S}_{w}w} \end{gathered}$$
  这样，我们就把损失函数和原数据集以及参数结合起来了。下面对这个损失函数求偏导，注意我们其实对w的绝对值没有任何要求，只对方向有要求，因此只要一个方程就可以求解了：
  $$\begin{gathered} \frac{\partial }{\partial w}J(w)=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0 \\ ⟹S_{b}w(w^T{S}_{w}w)=(w^T{S}_{b}w)S_{w}w \\ ⟹w\propto S_w^{-1}{S}_{b}w=S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}}) \end{gathered}$$
  于是$S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$就是我们需要寻找的方向。最后可以归一化求得单位的w值。

二分类-软分类-概率判别模型-Logistic回归

有时候我们只要得到一个类别的概率，那么我们需要一种能输出[0,1]区间的值的函数。考虑两分类模型，我们利用判别模型，希望对$p(C|x)$建模，利用贝叶斯定理：
$$p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}$$
取$a=ln(\frac{p(x|C_1)p(C_1)}{p(x|C_2)p(C_2)})$:
$$p(C_1|x)=\frac{1}{1+exp(-a)}$$
上面的式子叫Logistic Sigmoid函数，其参数表示了两类联合概率比值的对数。在判别式中，不关心这个参数的具体值，模型假设直接对a进行。
Logistic回归的模型假设是：
$$a=w^{T}x$$
于是，通过寻找w的最佳值可以得到在这个模型假设下的最佳模型。概率判别模型常用最大似然估计的方式来确定参数。
对于一次观测，获得分类y的概率为（假定$C_1=1,C_2=0$）:
$$p(y|x)=p_1^y{p}_0^{1-y}$$
那么对于N次独立全同的观测MLE为：
$$\hat{w}=argma{x}_{w}J(w)=argma{x}_w\sum _{i=1}^N(y_{i}log{p}_1+(1-y_i)log{p}_0)$$
注意到，这个表达式是交叉熵表达式的相反数乘N，MLE中的对数也保证了可以和指数函数项匹配，从而在大的区间汇总获取稳定的梯度。
对这个函数求导数，注意到：
$$p_1^{\prime }=(\frac{1}{1+\exp (-a)}{)}^{\prime }=p_1(1-p_1)$$

二分类-软分类-概率生成模型-高斯判别分析GDA

生成模型中，我们对联合概率分布进行建模，然后采用MAP来获得参数的最佳值。二分类的情况，我们采用的假设：

1. $y\sim Bernoulli(\varphi )$
2. $x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$
3. $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$
   那么独立全同的数据集最大后验概率可以表示为：
   $$\begin{gathered} {\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\log p(X|Y)p(Y)={\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\sum _{i=1}^N(\log p(x_i|y_i)+\log p(y_i)) \\ ={\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma )+y_i\log \varphi +(1-y_i)\log (1-\varphi )) \end{gathered}$$
   首先对$\varphi$进行求解，将式子对$\varphi$求偏导：
   $$\begin{gathered} \sum _{i=1}^N\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi }=0 \\ ⟹\varphi =\frac{\sum _{i=1}^N{y}_i}{N}=\frac{N_1}{N} \end{gathered}$$
   然后求解${\mu }_1$:
   $$\begin{gathered} \widehat{{\mu }_1}={\mathrm{argmax}}_{{\mu }_1}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma ) \\ ={\mathrm{argmin}}_{{\mu }_1}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1) \end{gathered}$$
   由于：
   $$\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)=\sum _{i=1}^N{y}_i{x}_i^T{\Sigma }^{-1}{x}_i-2y_i{\mu }_1^T{\Sigma }^{-1}{x}_i+y_i{\mu }_1^T{\Sigma }^{-1}{\mu }_1$$
   求微分左边乘以$\Sigma$可以得到：
   $$\begin{gathered} \sum _{i=1}^N-2y_i{\Sigma }^{-1}{x}_i+2y_i{\Sigma }^{-1}{\mu }_1=0 \\ ⟹{\mu }_1=\frac{\sum _{i=1}^N{y}_i{x}_i}{\sum _{i=1}^N{y}_i}=\frac{\sum _{i=1}^N{y}_i{x}_i}{N_1} \end{gathered}$$
   求解${\mu }_0$,由于正反例是对称的，所以：
   $${\mu }_0=\frac{\sum _{i=1}^N(1-y_i)x_i}{N_0}$$
   最为困难的是求解$\Sigma$，我们的模型假设对正反例采用相同的协方差矩阵，当然从上面的求解中我们可以看到，即使采用不同的矩阵也不会影响之前的三个参数。首先我们有：
   $$\begin{gathered} \sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )=\sum _{i=1}^N\log (\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}})+(-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )) \\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )) \\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1}) \\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}NTrace(S{\Sigma }^{-1}) \end{gathered}$$
   在这个表达式中，我们在标量上加入迹从而可以交换矩阵的顺序，对于包含绝对值和迹的表达式的导数，我们有：
   $$\begin{gathered} \frac{\partial }{\partial A}(|A|)=|A|A^{-1} \\ \frac{\partial }{\partial A}Trace(AB)=B^T \end{gathered}$$
   因此：
   $$\begin{gathered} [\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma ){]}^{\prime } \\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}{N}_{1}Trace(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{2}Trace(S_2{\Sigma }^{-1}) \end{gathered}$$
   其中，$S_1$,$S_2$分别为两个类数据内部的协方差矩阵，于是：
   $$\begin{gathered} N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0 \\ ⟹\Sigma =\frac{N_1{S}_1+N_2{S}_2}{N} \end{gathered}$$
   这里应用了类协方差矩阵的对称性。
   于是我们就利用了最大后验的方法得到了我们模型假设里面的所有参数，根据模型，可以得到联合分布，也就可以得到用于推断的条件分布了。

二分类-软分类-概率生成模型-朴素贝叶斯

朴素贝叶斯对数据的属性之间的关系作出了假设，一般地，我们有需要得到$p(x|y)$这个概率值，由于$x$有$p$个维度，因此需要对这么多的维度的联合概率进行采样，但是我们知道这么高维度的空间中采样需要的样本数量非常大才能获得较为准确的概率近似。
在一般的有向概率图模型中，对各个属性维度之间的条件独立关系作出了不同的假设，其中最为简单的一个假设就是在朴素贝叶斯模型描述中的条件独立性假设。
$$p(x|y)=\prod _{i=1}^{p}p(x_i|y)$$
即：
$$x_i\perp x_j|y,\forall i\ne j$$
于是利用贝叶斯定理，对于单次观测：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}=\frac{\prod _{i=1}^{p}p(x_i|y)p(y)}{p(x)}$$
对于单个维度的条件概率以及类先验做出进一步的假设：

1. $x_i$为连续变量：$p(x_i|y)=\mathcal{N}({\mu }_i,{\sigma }_i^2)$
2. $x_i$ 为离散变量：类别分布（Categorical）：$p(x_i=i|y)={\theta }_i,\sum _{i=1}^K{\theta }_i=1$
3. $p(y)={\varphi }^y(1-\varphi {)}^{1-y}$
   对这些参数的估计，常用 MLE 的方法直接在数据集上估计，由于不需要知道各个维度之间的关系，因此，所需数据量大大减少了。估算完这些参数，再代入贝叶斯定理中得到类别的后验分布。