线性分类模型(三)——判别式模型

本文首发于我的个人博客Suixin’s Blog
原文: https://suixinblog.cn/2018/10/linear-classification3.html　　作者: Suixin

判别式方法：直接对条件概率分布$p(C_k|x\text{x}x)$进行建模。
相比生成式方法有两个优点：需要训练的参数更少，预测表现会提升（尤其当类条件概率密度的假设没有很好的近似真实分布的时候）。

logistic回归

对于二分类问题，类别$C_1$的后验概率为
$$p(C_1|\varphi \text{ϕ}\varphi )=y(\varphi \text{ϕ}\varphi )=\sigma ({w\text{w}w}^{\top }\varphi \text{ϕ}\varphi )$$
可见，对于$M$维特征空间$\varphi \text{ϕ}\varphi$，该模型只有$M$个可调节参数，而生成式模型需要调节参数总数为$\frac{M(M+5)}{2}+1$。
对于一个数据集 { ϕ n , t n } \{\pmb{\phi}_n,t_n\} {ϕ​ϕ​​ϕn​,tn​}，其中， t n ∈ { 0 , 1 } t_n\in \{0,1\} tn​∈{0,1}且${\varphi \text{ϕ}\varphi }_n=\varphi ({x\text{x}x}_n)$，$n=1,2,\cdots ,N$。
似然函数为
$$p(\text{t}|w\text{w}w)=\prod _{n=1}^N{y}_n^{t_n}(1-y_n{)}^{1-t_n}$$
其中，$\text{t}=(t_1,t_2,\cdots ,t_N{)}^{\top }$。通过对似然函数取负对数的方式定义一个误差函数，即交叉熵（cross-entropy）误差函数
E ( w ) = − ln ⁡ p ( t ∣ w ) = − ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } E(\pmb{w})=-\ln p(\textbf{t}|\pmb{w})=-\sum_{n=1}^N\{t_n\ln y_n+(1-t_n)\ln(1-y_n)\} E(www)=−lnp(t∣www)=−n=1∑N​{tn​lnyn​+(1−tn​)ln(1−yn​)}
对$w\text{w}w$求梯度，可得
$$\nabla E(w\text{w}w)=\sum _{n=1}^N(y_n-t_n){\varphi \text{ϕ}\varphi }_n={\Phi }^{\top }(\text{y}-\text{t})$$
注： 最大似然方法对于线性可分的数据集会产生严重的过拟合。

迭代重加权最小平方（IRLS）

logistic回归不再有解析解，故需要用Newton-Raphson迭代
$${w\text{w}w}^{new}={w\text{w}w}^{old}-H^{-1}\nabla E(w\text{w}w)$$
其中，$H$是Hessian矩阵，其元素为$E(w\text{w}w)$关于$w\text{w}w$的二阶导数。
推导可得
$$H=\nabla \nabla E(w\text{w}w)=\sum _{n=1}^N{y}_n(1-y_n){\varphi \text{ϕ}\varphi }_n{\varphi \text{ϕ}\varphi }_n^{\top }={\Phi }^{\top }R\Phi$$
其中，$N\times N$的对角矩阵$R$元素为$R_{nn}=y_n(1-y_n)$。由于$o<y_n<1$，故对任意向量$u$都有$u^{\top }Hu>0$，即$H$正定，因此误差函数是$w\text{w}w$的凸函数，有唯一最小值。

softmax分类

对于多分类问题，后验概率为
$$p(C_k|\varphi \text{ϕ}\varphi )=y_k(\varphi \text{ϕ}\varphi )=\frac{\exp (a_k)}{{\sum }_j\exp (a_j)}$$
其中，$a_k={w\text{w}w}_k^{\top }\varphi \text{ϕ}\varphi$。求导，有
$$\frac{\partial y_k}{\partial a_j}=\{\begin{array}{ll}{y}_k(1-y_k),& j=k\\ -y_k{y}_j,& j̸=k\end{array}$$
从而，似然函数为
$$p(T|{w\text{w}w}_1,\cdots ,{w\text{w}w}_K)=\prod _{n=1}^N\prod _{k=1}^{K}p(C_k|{\varphi \text{ϕ}\varphi }_n{)}^{t_{nk}}=\prod _{n=1}^N\prod _{k=1}^K{y}_{nk}^{t_{nk}}$$
其中，$y_{nk}=y_k({\varphi \text{ϕ}\varphi }_n)$，$T$是一个$N\times K$的矩阵，元素$t_{nk}$为1-of-K编码值。
交叉熵误差函数为
$$E({w\text{w}w}_1,\cdots ,{w\text{w}w}_K)=-\ln p(T|{w\text{w}w}_1,\cdots ,{w\text{w}w}_K)=-\sum _{n=1}^N\sum _{k=1}^K{t}_{nk}\ln y_{nk}$$
同样利用Newton-Raphson迭代可求解。

参考

“Pattern Recognition and Machine Learning”