数据挖掘 | 判别分析 +朴素贝叶斯分类算法

本节记录一下由贝叶斯定理延伸出来的几种预测性建模的方法，主要为线性判别分析(一次，二次)，朴素贝叶斯(稍稍提一下贝叶斯网络)

1. 判别分析

判别分析适用于自变量连续，因变量为分类型的情形；

• 设因变量$Y$一共有$K$个类别；${ϵ}_l=P(Y=l)$表示类别$l$的先验概率，满足${\sum }_{l=1}^K{ϵ}_l=1$；$f_l(\mathbf{x})=f(\mathbf{x}|Y=l)$表示类别$Y=l$的观测下自变量$\mathbf{X}=(X_1,\cdots ,X_p)$的概率密度函数；

由贝叶斯公式
$$P(Y=l|\mathbf{X}=\mathbf{x})=\frac{P(Y=l)f(\mathbf{x}|Y=l)}{{\sum }_{i=1}^{K}P(Y=i)f(\mathbf{x}|Y=i)}=\frac{{ϵ}_l{f}_l(\mathbf{x})}{{\sum }_{i=1}^K{ϵ}_i{f}_i(\mathbf{x})}$$

则预测$\mathbf{x}$的类别$l^{\ast }$为
$$l^{\ast }=\underset{l}{\mathrm{argmax}}P(Y=l|\mathbf{X}=\mathbf{x})=\underset{l}{\mathrm{argmax}}{ϵ}_l{f}_l(\mathbf{x})$$

• 线性判别分析的假设为，观测自变量满足多元正态分布，即$f_l(\mathbf{x})\sim MVN({\mu }_l,{\mathbf{\Sigma }}_l)$

1.1 线性判别分析

• 在上述假设中进一步假设所有类别的协方差矩阵都相等：${\Sigma }_l=\Sigma ,l=1,\cdots ,K$

前述已经将预测类别的类转化为求$\underset{l}{\mathrm{argmax}}{ϵ}_l{f}_l(\mathbf{x})$，我们稍微计算一下
l o g ( ϵ l f l ( x ) ) = l o g [ ϵ l 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 e x p { − 1 2 ( x − μ l ) T Σ − 1 ( x − μ l ) } ] = δ l ( x ) + A \begin{aligned} log(\epsilon_lf_l(\bold{x}))&=log[\epsilon_l\frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}exp\{-\frac{1}{2}(\bold{x}-\bold{\mu}_l)^T\Sigma^{-1}(\bold{x}-\bold{\mu}_l)\}]\\ &= \delta_l(\bold{x})+A\\ \end{aligned} log(ϵl​fl​(x))​=log[ϵl​(2π)2p​∣Σ∣21​1​exp{ −21​(x−μl​)TΣ−1(x−μl​)}]=δl​(x)+A​