统计学习（三）：分类

分类

此时响应变量是定性的（qualitative）

为什么线性回归不可用

假设对响应变量编码：
$$Y=\{\begin{array}{l}0,ifNo\\ 1,ifYes\end{array}$$
我们可以简单地执行Y对X的线性回归并将 $\tilde{Y}>0.5$ 归类为Yes吗？

在这种二元结果的情况下，线性回归作为一个分类器做得很好，同时有 $E(Y|X=x)=Pr(Y=1|X=x)$ 。但是，线性回归可能产生大于1或小于0的概率。逻辑回归更合适。

通常不能将一个定性的响应变量自然地转化为两水平以上的定量变量来建立线性回归模型。当响应变量没有一个自然的程度顺序，线性回归就不适合。

逻辑斯谛回归

逻辑斯谛模型

$$p(X)=\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}$$

不管怎么取值，$p(X)$ 都在。同时，有：
$$\log (\frac{p(X)}{1-p(X)})={\beta }_0+{\beta }_{1}X$$
上式称为对数发生比（log odds）或分对数（logit）。

估计回归系数（ML）

用极大似然估计来估计系数：
$$l({\beta }_0,{\beta }_1)=\prod _{i:y_i=1}p(x_i)\prod _{i^{\prime }:y_i=0}(1-p(x_{i^{\prime }}))$$
所估计的系数 $\widehat{{\beta }_0}、\widehat{{\beta }_1}$，应使似然函数值最大。

预测

$$\hat{p}(X)=\frac{e^{{\hat{\beta }}_0+{\hat{\beta }}_{1}X}}{1+e^{{\hat{\beta }}_0+{\hat{\beta }}_{1}X}}$$

X可以是定量变量，也可以是定性变量（0或1）。

多元逻辑斯谛回归

$$\begin{gathered} \log (\frac{p(X)}{1-p(X)})={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p \\ p(X)=\frac{e^{{\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_p{X}_p}}{1+e^{{\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_p{X}_p}} \end{gathered}$$

响应分类数超过2的逻辑斯谛回归

到目前为止，我们已经用讨论了二分类的逻辑回归。它很容易推广到两个以上的分类。
$$Pr(Y=k|X)=\frac{e^{{\beta }_{0k}+{\beta }_{1k}{X}_1+\cdots +{\beta }_{pk}{X}_p}}{{\sum }_{i=1}^K{e}^{{\beta }_{0i}+{\beta }_{1i}{X}_1+\cdots +{\beta }_{pi}{X}_p}}$$

判别分析

在这类方法中，分别对每种响应分类（给定的Y）建立预测变量X的分布模型，然后运用贝叶斯定理反过来估计 $Pr(Y=k|X=x)$。假设这些分布是正态分布，则模型在形式上与逻辑斯谛回归很相似。

为何使用判别分析

1. 当类别的区分度高的时候，逻辑斯谛回归模型的参数估计不够稳定，这点在线性判别分析中是不存在的。
2. 如果样本量n比较小，而且在每一类响应分类中预测变量X近似服从正态分布，那么线性判别分析模型比逻辑斯谛回归模型更稳定。
3. 响应分类多于两类时，线性判别分析应用更普遍。

运用贝叶斯定理进行分类

$$\begin{gathered} Pr(Y=k|X=x)=\frac{Pr(X=x|Y=k)\cdot Pr(Y=k)}{Pr(X=x)} \\ Pr(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{{\sum }_{i=1}^K{\pi }_i{f}_i(x)} \\ 记p_k(x)=Pr(Y=k|X=x) \\ 其中：f_k(x)=Pr(X=x|Y=k)表示第k类观测的X的密度函数，{\pi }_k=Pr(Y=k)是第k类的先验概率。 \end{gathered}$$

我们根据密度最高的点对一个新的点进行了分类。

p=1的线性判别分析

p=1时，只有一个预测变量。

假设 $f_k(x)$ 是正态的或高斯的，一维情况下，正态密度函数的形式为：
$$f_k(x)=\frac{1}{\sqrt{2\pi }{\sigma }_k}{e}^{-\frac{1}{2}(\frac{x-{\mu }_k}{{\sigma }_k}{)}^2}$$
${\mu }_k、{\sigma }_k^2$ 是第k类的平均值和方差。我们假设所有K个类的方差是相同的，记为 ${\sigma }^2$，将其插入贝叶斯公式中，可得：
$$p_k(x)=\frac{{\pi }_k\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-{\mu }_k}{\sigma }{)}^2}}{{\sum }_{i=1}^K{\pi }_i\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-{\mu }_i}{\sigma }{)}^2}}$$
贝叶斯分类器将观测 $X=x$ 分到 $p_k(x)$ 最大的一类。取对数，整理式子，去掉与k无关的项，得贝叶斯分类器将观测值分到下式最大的一组：
$${\delta }_k(x)=\log {\pi }_k+x\cdot \frac{{\mu }_k}{{\sigma }^2}-\frac{{\mu }_k^2}{2{\sigma }^2}$$
假设 $K=2,{\pi }_1={\pi }_2=0.5$：
$$\begin{gathered} {\delta }_1(x)-{\delta }_2(x)=x\cdot \frac{{\mu }_1-{\mu }_2}{{\sigma }^2}-\frac{{\mu }_1^2-{\mu }_2^2}{2{\sigma }^2}=\frac{{\mu }_1-{\mu }_2}{{\sigma }^2}(x-(\frac{{\mu }_1+{\mu }_2}{2})) \\ 贝叶斯决策边界对应的点为：x=\frac{{\mu }_1+{\mu }_2}{2} \end{gathered}$$
实际中，要估计参数 ${\mu }_1,\cdots ,{\mu }_K,{\pi }_1,\cdots ,{\pi }_K,{\sigma }^2$。线性判别分析（LDA） 与贝叶斯分类器相似，使用如下参数估计：
$$\begin{gathered} {\hat{\pi }}_k=\frac{n_k}{n} \\ {\hat{\mu }}_k=\frac{1}{n_k}\sum _{i:y_i=k}{x}_i \\ {\hat{\sigma }}^2=\frac{1}{n-K}\sum _{k=1}^K\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2=\sum _{k=1}^K\frac{n_k-1}{n-K}\cdot {\hat{\sigma }}_k^2 \\ 其中{\hat{\sigma }}_k^2=\frac{1}{n_k-1}\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2是第k类中估计方差的一般公式。 \\ {\hat{\delta }}_k(x)=\log {\hat{\pi }}_k+x\cdot \frac{{\hat{\mu }}_k}{{\hat{\sigma }}^2}-\frac{{\hat{\mu }}_k^2}{2{\hat{\sigma }}^2} \end{gathered}$$

p>1的线性判别分析

p>1时，考虑多元预测变量。

若p维随机变量X服从多元高斯分布，则记为 $X\sim N(\mu ,\Sigma )$，其中 $E(X)=\mu$ 是 $X$ 的均值，$Cov(X)=\Sigma$ 是 $X$ 的 $p\times p$ 的协方差矩阵。密度函数可以定义为：
$$f(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
判别函数：
$${\delta }_k(x)=x^T{\Sigma }^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+\log {\pi }_k$$
LDA分类器假设第k类观测服从一个多元高斯分布 $N({\mu }_k,\Sigma )$，其中 ${\mu }_k$ 是一个均值向量，$\Sigma$ 是所有K类共同的协方差矩阵。

同样，需要估计未知参数 ${\mu }_1,\cdots ,{\mu }_K,{\pi }_1,\cdots ,{\pi }_K,\Sigma$。${\delta }_k(x)$ 是关于 $x$ 的线性函数。

从 ${\delta }_k(x)$ 看概率

一旦估计出 ${\hat{\delta }}_k(x)$，可将其变为类概率的估计：
$$\widehat{Pr}(Y=k|X=x)=\frac{e^{\widehat{{\delta }_k}(x)}}{{\sum }_{i=1}^K{e}^{\widehat{{\delta }_i}(x)}}$$
所以分类到最大的 ${\hat{\delta }}_k(x)$ 的类等于 $\widehat{Pr}(Y=k|X=x)$ 最大的类。

当k=2，如果 $\widehat{Pr}(Y=2|X=x)\ge 0.5$，则分到第2类，否则分到第1类。

误差种类

1. 假阳性率：阴性值被错误的分到阳性组的比例。
2. 假阴性率：阳性值被错误的分到阴性组的比例。

第一类错误率=假阳性率=误诊率
第二类错误率=假阴性率=漏诊率

1-假阳性率=真阴性率（特异性）
1-假阴性率=真阳性率（敏感性）

	病人	正常人
阳	TP（真阳）	FP（假阳）
阴	FN（假阴）	TN（真阴）

FPR（假阳性率）=FP/(FP+TN)
FNR（假阴性率）=FN/(TP+FN）

1-FPR=TN/(FP+TN)=真阴性率
1-FNR=TP/(TP+FN)=真阳性率

我们可以通过将阈值从0.5更改成其他[0,1]上的值来更改上述两个错误率：
$$\widehat{Pr}(Y=Yes|X_1,X_2)\ge threshold$$
黑实线是总的错误率，蓝线是假阴性率，橙线是假阳性率。为了降低假阴性率，我们可能希望将阈值降低到0.1或更少。

ROC曲线同时展示出所有阈值可能出现的两种错误。分类器的性能表现通过ROC曲线下面的面积（AUC）表示，一个理想的ROC曲线会紧贴左上角，所以AUC越大，分类器越好。

二次判别分析

LDA假设每一类观测服从一个多元高斯分布，其中协方差矩阵对所有的K类是相同的。二次判别函数（QDA） 提供了新方法，假设每一类观测服从一个多元高斯分布，并假设每一类观测都有自己的协方差矩阵，假设来自第k类的观测形如 $X\sim N({\mu }_k,{\Sigma }_k)$，${\Sigma }_k$ 是第k类的协方差矩阵。

对于每一类：$f_k(x)={\prod }_{j=1}^p{f}_{jk}(x_j)$（条件独立模型），我们得到朴素贝叶斯，${\Sigma }_k$ 是对角矩阵。

对于上述假设，贝叶斯分类器把观测 $X=x$ 分入
$$\begin{gathered} {\delta }_k(x)=-\frac{1}{2}(x-{\mu }_k{)}^T{\Sigma }_k^{-1}(x-{\mu }_k)+\log {\pi }_k \\ =-\frac{1}{2}{x}^T{\Sigma }_k^{-1}x+x^T{\Sigma }_k^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k+\log {\pi }_k \end{gathered}$$
最大的一组，同样需要估计 ${\Sigma }_k,{\mu }_k,{\pi }_k$ 并代入上式。

如何选择LDA和QDA是一个偏差-方差均衡的问题。当有p个预测变量时，预测协方差矩阵要p(p+1)/2个参数，QDA要对每一类分别估计协方差矩阵，即需要Kp(p+1)/2个参数。然而通过假设K类协方差矩阵相同，LDA模型对x来说是线性的，意味着有Kp个线性系数需要估计。所以，LDA没有QDA分类器光滑，拥有更低的方差，有改善预测效果的潜力，但这里要权衡考虑。

一般而言，如果训练观测数据量相对较小，LDA是一个比QDA更好的决策，降低模型的方差很有必要；相反地，如果训练集非常大，则更倾向于使用QDA，此时LDA假设K类有相同的协方差矩阵站不住脚。

朴素贝叶斯

高斯朴素贝叶斯假设每一个 ${\Sigma }_k$ 都是对角线的。
$${\delta }_k(x)\propto \log [{\pi }_k\prod _{j=1}^p{f}_{kj}(x_j)]=-\frac{1}{2}\sum _{j=1}^p\frac{(x_j-{\mu }_{kj}{)}^2}{{\sigma }_{kj}^2}+\log {\pi }_k$$
可用于混合特征向量（定性与定量）。如果 $X_j$ 是定性的，用离散类别上的概率质量函数代替 $f_{kj}(x_j)$。

分类方法比较

考虑类数为2，LDA可以写成：
$$\begin{gathered} p_k(x)=\frac{{\pi }_k{f}_k(x)}{{\sum }_{i=1}^K{\pi }_i{f}_i(x)} \\ {f}_k(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-{\mu }_k{)}^T{\Sigma }^{-1}(x-{\mu }_k)} \\ \log (\frac{p_1(x)}{1-p_1(x)})=\log (\frac{p_1(x)}{p_2(x)})=\log (\frac{{\pi }_1{f}_1(x)}{{\pi }_2{f}_2(x)})=\log (\frac{{\pi }_1}{{\pi }_2})+\log (\frac{f_1(x)}{f_2(x)}) \\ =\log (\frac{{\pi }_1}{{\pi }_2})+\frac{1}{2}[(x-{\mu }_2{)}^T{\Sigma }^{-1}(x-{\mu }_2)-(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)] \\ =\log (\frac{{\pi }_1}{{\pi }_2})+\frac{1}{2}{x}^T{\Sigma }^{-1}x-x^T{\Sigma }^{-1}{\mu }_2+\frac{1}{2}{\mu }_2^T{\Sigma }^{-1}{\mu }_2-[\frac{1}{2}{x}^T{\Sigma }^{-1}x-x^T{\Sigma }^{-1}{\mu }_1+\frac{1}{2}{\mu }_1^T{\Sigma }^{-1}{\mu }_1] \\ =\log (\frac{{\pi }_1}{{\pi }_2})+({\mu }_1-{\mu }_2)x^T{\Sigma }^{-1}+\frac{1}{2}{\mu }_2^T{\Sigma }^{-1}{\mu }_2-\frac{1}{2}{\mu }_1^T{\Sigma }^{-1}{\mu }_1 \\ =c_0+({\mu }_1-{\mu }_2)x^T{\Sigma }^{-1}=c_0+c_1{x}_1+\cdots +c_p{x}_p \end{gathered}$$

所以LDA与逻辑斯谛回归有相同的形式，但是参数的估计方式不同。逻辑斯谛回归的参数是由极大似然估计出来的，基于条件概率 $Pr(Y|X)$；而LDA的参数是通过估计的正态分布均值和方差计算出来的，基于 $Pr(X,Y)$。尽管有这些不同，但在实际实践中，结果往往非常相似。

逻辑斯谛回归也可以通过明确地包含二次项，来适应模型中的二次边界。

LDA假设观测服从每一类协方差矩阵都相同的高斯分布，当该高斯假设合理时，LDA能比逻辑斯谛回归提供更好的结果。在n很小，或类分离很好时，LDA是有用的，在K>2时也有用。

如果高斯分布的假设不满足，逻辑斯谛回归比LDA效果更好。

朴素贝叶斯在p很大时是有用的。

KNN是一个彻底的非参数方法，对决策边界的形状没有做出任何假设。因此，当决策边界高度非线性时，用该方法会优于LDA和逻辑斯谛回归。

QDA是非参数KNN方法和线性LDA、逻辑斯谛回归方法之间的一个折中的方法。虽然不如KNN光滑度高，但QDA在固定训练数据量上一般比KNN有更好的效果，原因是QDA对决策边界的形状做了一些假设。