3-2 朴素贝叶斯分类算法及MATLAB实现

3-2 朴素贝叶斯分类算法及MATLAB实现

\quad \quad 贝叶斯学派的思想可以概括为先验概率+数据=后验概率。也就是说我们在实际问题中需要得到的后验概率，可以通过先验概率和数据一起综合得到。贝叶斯学习可以用于垃圾邮件分类，文本分类等。

1.基础知识

1. 全概率公式：$P(B)={\sum }_{i=1}^{n}P(A_i)\ast P(B|A_i)$
2. 条件概率：$P(A|B)=\frac{P(A\bigcap B)}{P(B)}$，$P(B|A)=\frac{P(A\bigcap B)}{P(A)}$
3. 独立事件交概率：$P(AB)=P(A\bigcap B)=P(A)\ast P(B)$
4. 贝叶斯公式：
   $P(A|B)=\frac{P(A\bigcap B)}{P(B)}=\frac{P(A)\ast P(B|A)}{P(B)}=\frac{P(A)\ast P(B|A)}{{\sum }_{i=1}^{n}P(A_i)\ast P(B|A_i)}$

2. 分类依据

对应给定的样本X的特征向量$x_1,x_2,...,x_m$,我们假定特征之间是独立的；则该样本$X$的类别$y$的概率可以由贝叶斯公式得到：
$P(y|(x_1,x_2,...,x_m))=\frac{P(y)\ast P((x_1,x_2,...,x_m|y)}{P(x_1,x_2,...,x_m)}=\frac{P(y)\ast {\prod }_{i=1}^{n}P(x_i)}{P(x_1,x_2,...,x_m)}$
在给定样本的情况下，P(x_1,x_2,…,x_m)是常数，所以得到：
\quad \quad $P(y|(x_1,x_2,...,x_m)=C\ast P(y)\ast {\prod }_{i=1}^{n}P(x_i)$
于是问题转化为：
y − = a r g m i n { P ( y ) ∗ ∏ i = 1 n P ( x i ) } \overset{-}{y}=argmin\{P(y)*\prod_{i=1}^nP(x_i)\} y−​=argmin{P(y)∗∏i=1n​P(xi​)}

3.计算步骤

1. 设 x = { a 1 , a 2 , . . . , a m } x=\{a_1,a_2,...,a_m\} x={a1​,a2​,...,am​}为待分类项，其中$a$为$x$的一个特征属性
2. 类别集合为$C=y_1,y_2,...,y_n$
3. 分别计算$P(y_1|x),P(y_2|x),....,P(y_n|x)$的值（贝叶斯公式）
4. 如果 P ( y k ∣ x ) = m a x { P ( y 1 ∣ x ) , P ( y 2 ∣ x ) , . . . . , P ( y n ∣ x ) } P(y_k|x)=max\{P(y_1|x),P(y_2|x),....,P(y_n|x)\} P(yk​∣x)=max{P(y1​∣x),P(y2​∣x),....,P(yn​∣x)},那么认为$x$为$y_k$类型

4.MATLAB Example

用fisher数据做算法实例可参考MATLAB官方函数算例
https://ww2.mathworks.cn/help/stats/fitcnb.html