贝叶斯&python应用

贝叶斯

贝叶斯判定准则

为最小化总体风险，只需要在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即：
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|x)\text{\hspace{1em}(式1)}$$
此时，$h^{\ast }(x)$称为贝叶斯最优分类器。
已知，条件风险$R(c|x)$的计算公式为:
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)\text{\hspace{1em}(式2)}$$
如若目标是最小化分类错误率，则误判损失${\lambda }_{ij}$对应为0/1损失，即:
$$\begin{array}{r}{\lambda }_{ij}=\{\begin{array}{ll}0,& ifi=j\\ 1,& otherwise\end{array}\end{array}\text{\hspace{1em}(式3)}$$
那么条件风险$R(c|x)$的计算公式进一步展开为：
$$\begin{array}{rl}R(c_i|x)& =1\cdot P(c_1|x)+\cdots +1\cdot P(c_{i-1}|x)+0\cdot P(c_i|x)\\ & +1\cdot P(c_{i+1}|x)+\cdots +1\cdot P(c_N|x)\\ & =P(c_1|x)+\cdots +P(c_{i-1}|x)+P(c_{i+1}|x)+\cdots +P(c_N|x)\end{array}\text{\hspace{1em}(式4)}$$
由于${\sum }_{j=1}^{N}P(c_j|x)=1$,所以有:
$$R(c_i|x)=1-P(c_i|x)\text{\hspace{1em}(式5)}$$
于是呢，最小化错误率的贝叶斯最优分类器就是:
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}(1-P(c|x))=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|x)\text{\hspace{1em}(式6)}$$

多元正态度分布参数的极大似然估计

已知对数似然函数为:
$$LL({\theta }_c)=\sum _{x\in D_c}logP(x|{\theta }_c)\text{\hspace{1em}(式7)}$$
为了便于计算，令$log$的底数为$e$，则对数似然函数为:
$$LL({\theta }_c)=\sum _{x\in D_c}lnP(x|{\theta }_c)\text{\hspace{1em}(式8)}$$
由于$P(x|{\theta }_c)=P(x|c)\sim \mathcal{N}({\mu }_c,{\sigma }_c^2)$那么：
$$P(x|{\theta }_c)=\frac{1}{\sqrt{(2\pi {)}^d|{\Sigma }_c|}}exp(-\frac{1}{2}(x-{\mu }_c{)}^T{\Sigma }_c^{-1}(x-{\mu }_c))\text{\hspace{1em}(式9)}$$
其中，$d$表示$x$的维数，${\Sigma }_c={\sigma }_c^2$为对称正定协方差矩阵，$|{\Sigma }_c|$表示行列式，将上式代入对数似然函数可得:
$$LL({\theta }_c)=\sum _{x\in D_c}ln[\frac{1}{\sqrt{(2\pi {)}^d|{\Sigma }_c|}}exp(-\frac{1}{2}(x-{\mu }_c{)}^T{\Sigma }_c^{-1}(x-{\mu }_c))]\text{\hspace{1em}(式10)}$$
令$|D_c=N|$,则对数似然函数化为:
L L ( θ c ) = ∑ x = 1 N l n [ 1 ( 2 π ) d ∣ Σ c ∣ e x p ( − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ) ] = ∑ i = 1 N l n [ 1 ( 2 π ) d ⋅ 1 ∣ Σ c ∣ e x p ( − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ) ] = ∑ i = 1 N { l n 1 ( 2 π ) d + l n 1 ∣ Σ c ∣ + l n [ e x p ( − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ) ] } = ∑ i = 1 N { − d 2 l n ( 2 π ) − 1 2 l n ∣ Σ c ∣ − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) } = − N d 2 l n ( 2 π ) − N 2 l n ∣ Σ c ∣ − 1 2 Σ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c ) (式11) \begin{aligned} LL(\theta_c)&=\sum_{x=1}^{N}ln[\cfrac{1}{\sqrt{(2\pi)^d{|\Sigma_c|}}}exp(-\cfrac{1}{2}(x_i-\mu_c)^T\Sigma_c^{-1}(x_i-\mu_c))]\\ &=\sum_{i=1}^{N}ln[\cfrac{1}{\sqrt{(2\pi)^d}}\cdot \cfrac{1}{\sqrt{|\Sigma_c|}}exp(-\cfrac{1}{2}(x_i-\mu_c)^T\Sigma_c^{-1}(x_i-\mu_c))]\\ &=\sum_{i=1}^{N}\{ln\cfrac{1}{\sqrt{(2\pi)^d}}+ln\cfrac{1}{\sqrt{|\Sigma_c|}}+ln[exp(-\cfrac{1}{2}(x_i-\mu_c)^T\Sigma_c^{-1}(x_i-\mu_c))]\}\\ &=\sum_{i=1}^{N}\{-\cfrac{d}{2}ln(2\pi)-\cfrac{1}{2}ln|\Sigma_c|-\cfrac{1}{2}(x_i-\mu_c)^T\Sigma_c^{-1}(x_i-\mu_c)\}\\ &=-\cfrac{Nd}{2}ln(2\pi)-\cfrac{N}{2}ln|\Sigma_c|-\cfrac{1}{2}\Sigma_{i=1}^{N}(x_i-\mu_c)^T\Sigma_c^{-1}(x_i-\mu_c) \end{aligned}\tag{式11} LL(θc​)​=x=1∑N​ln[(2π)d∣Σc​∣ ​1​exp(−21​(xi​−μc​)TΣc−1​(xi​−μc​))]=i=1∑N​ln[(2π)d ​1​⋅∣Σc​∣ ​1​exp(−21​(xi​−μc​)TΣc−1​(xi​−μc​))]=i=1∑N​{ln(2π)d ​1​+ln∣Σc​∣ ​1​+ln[exp(−21​(xi​−μc​)TΣc−1​(xi​−μc​))]}=i=1∑N​{−2d​ln(2π)−21​ln∣Σc​∣−21​(xi​−μc​)TΣc−1​(xi​−μc​)}=−2Nd​ln(2π)−2N​ln∣Σc​∣−21​Σi=1N​(xi​−μc​)TΣc−1​(xi​−μc​)​(式11)
由于参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为;
$${\hat{\theta }}_c=\underset{{\theta }_c}{\mathrm{argmin}}LL({\theta }_c)\text{\hspace{1em}(式12)}$$
所以下面只需求出使得对数似然函数$LL({\theta }_c)$取到最大值的${\hat{\mu }}_c$和${\hat{\sum }}_c$,就求出了${\hat{\theta }}_c$。
对$LL({\theta }_c)$关于${\mu }_c$求偏导：
$$\begin{array}{rl}\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}& =\frac{\partial }{\partial {\mu }_c}[-\frac{Nd}{2}ln(2\pi )-\frac{N}{2}ln|{\Sigma }_c|-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T{\Sigma }_c^{-1}(x_i-{\mu }_c)]\\ & =\frac{\partial }{\partial {\mu }_c}[-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T{\Sigma }_c^{-1}(x_i-{\mu }_c)]]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i-{\mu }_c{)}^T{\Sigma }_c^{-1}(x_i-{\mu }_c)]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T-{\mu }_c^T){\Sigma }_c^{-1}(x_i-{\mu }_c)]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T-{\mu }_c^T)({\Sigma }_c^{-1}{x}_i-{\Sigma }_c^{-1}{\mu }_c)]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[x_i^T{\Sigma }_c^{-1}{x}_i-x_i^T{\Sigma }_c^T{\mu }_c-{\mu }_c^T{\Sigma }_c^{-1}{x}_i+{\mu }_c^T{\Sigma }_c^{-1}{\mu }_c]\end{array}\text{\hspace{1em}(式13)}$$
由于$x_i^T{\Sigma }_c^{-1}{\mu }_c$的计算结果为标量，所以有:
$$x_i^T{\Sigma }_c^{-1}{\mu }_c=(x_i^T{\Sigma }_c^{-1}{\mu }_c{)}^T={\mu }_c^T({\Sigma }_c^{-1}{)}^T{x}_i={\mu }_c^T({\Sigma }_c^T{)}^{-1}{x}_i={\mu }_c^T{\Sigma }_c^{-1}{x}_i\text{\hspace{1em}(式14)}$$
所以（式13）可以进一步化为:
$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[x_i^T{\Sigma }_c^{-1}{x}_i-2x_i^T{\Sigma }_c^{-1}{\mu }_c+{\mu }_c^T{\Sigma }_c^{-1}{\mu }_c]\text{\hspace{1em}(式15)}$$
由矩阵微分公式：
$$\frac{\partial a^{T}x}{\partial x}=a,\frac{\partial x^T\beta x}{\partial x}=(\beta +{\beta }^T)x\text{\hspace{1em}(式16)}$$
可以得到;
$$\begin{array}{rl}\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}& =-\frac{1}{2}\sum _{i=1}^N[0-(2x_i^T{\Sigma }_c^{-1}{)}^T+({\Sigma }_c^{-1}+{{\Sigma }_c^{-1})}^T{\mu }_c]\\ & =-\frac{1}{2}\sum _{i=1}^N[-(2({\Sigma }_c^{-1}{)}^T{x}_i)+({\Sigma }_c^{-1}+{{\Sigma }_c^{-1})}^T{\mu }_c]\\ & =-\frac{1}{2}\sum _{i=1}^N[-(2{\Sigma }_c^{-1}{x}_i)+2{\Sigma }_c^{-1}{\mu }_c]\\ & =\sum _{i=1}^N{\Sigma }_c^{-1}{x}_i-N{\Sigma }_c^{-1}{\mu }_c\end{array}\text{\hspace{1em}(式17)}$$
令偏导数为0，得到:
$$\begin{array}{rl}\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}& =\sum _{i=1}^N{\Sigma }_c^{-1}{x}_i-N{\Sigma }_c^{-1}{\mu }_c=0\\ & ⟹\sum _{i=1}^N{\Sigma }_c^{-1}{x}_i=N{\Sigma }_c^{-1}{\mu }_c\\ & ⟹{\Sigma }_c^{-1}\sum _{i=1}^N{x}_i=N{\Sigma }_c^{-1}{\mu }_c\\ & ⟹N{\mu }_c=\sum _{i=1}^N{x}_i\\ & ⟹{\mu }_c=\frac{1}{N}\sum _{i=1}^N{x}_i\end{array}\text{\hspace{1em}(式18)}$$
同样的，对$LL({\theta }_c)$关于${\Sigma }_c$求偏导得到:
$${\Sigma }_c=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\text{\hspace{1em}(式19)}$$
最小化分类错误率的贝叶斯最优分类器为:
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|x)\text{\hspace{1em}(式20)}$$
又由贝叶斯定理可以知道：
$$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}\text{\hspace{1em}(式21)}$$
所以：
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}\frac{P(c)P(x|c)}{P(x)}=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)P(x|c)\text{\hspace{1em}(式22)}$$
又由属性条件独立性假设：
$$P(x|c)=P(x_1,x_2,\cdots ,x_d|c)=\prod _{i=1}^{d}P(x_i|c)\text{\hspace{1em}(式23)}$$
所以：
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P(x_i|c)\text{\hspace{1em}(式24)}$$
这个就是朴素贝叶斯分类器的表达式。
对于$P(c)$,表示的是样本空间中各类样本所占的比例，根据大数定律，当训练集包含充足的度量同分布样本的时候，$P(c)$可以通过各类样本的频率来进行估计，即:
$$P(c)=\frac{|D_c|}{|D|}\text{\hspace{1em}(式25)}$$
其中，$D$表示训练集，$|D|$表示样本数，$D_c$表示训练集中第$c$类样本的数量组成的集合，$|D_c|$表示集合$D_c$的样本个数。

贝叶斯分类器python应用

# 导入乳腺肿瘤数据
from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
# 打印处数据的keys
print(cancer.keys())

dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# 打印数据集中的标注好的肿瘤分类
print("肿瘤的分类:",cancer['target_names'])
print("肿瘤的特征:",cancer['feature_names'])

肿瘤的分类: ['malignant' 'benign']
肿瘤的特征: ['mean radius' 'mean texture' 'mean perimeter' 'mean area'
 'mean smoothness' 'mean compactness' 'mean concavity'
 'mean concave points' 'mean symmetry' 'mean fractal dimension'
 'radius error' 'texture error' 'perimeter error' 'area error'
 'smoothness error' 'compactness error' 'concavity error'
 'concave points error' 'symmetry error' 'fractal dimension error'
 'worst radius' 'worst texture' 'worst perimeter' 'worst area'
 'worst smoothness' 'worst compactness' 'worst concavity'
 'worst concave points' 'worst symmetry' 'worst fractal dimension']

可见，肿瘤的分类分为:恶性（Malignant），良性（benign）,特征值有很多。

# 将数据集的数值和分类目标赋值给X,y
X, y = cancer.data, cancer.target
# 导入数据拆分工具
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=38)
# 查看数据形态
print("训练集形态:", X_train.shape)
print("测试集形态:", X_test.shape)

训练集形态: (426, 30)
测试集形态: (143, 30)

# 导入高斯朴素贝叶斯
from sklearn.naive_bayes import GaussianNB

# 进行拟合数据
gnb = GaussianNB()
gnb.fit(X_train, y_train)
# 打印模型得分
print("模型得分:{:.3f}".format(gnb.score(X_test, y_test)))

模型得分:0.944