【机器学习】朴素贝叶斯方法

---

一、简介

  朴素贝叶斯法是基于贝叶斯定理与特征条件假设的分类方法。
  对于给定的数据集

1. 基于特征条件假设学习输入输出的联合概率分布
2. 基于此模型，对给定的属入x，利用贝叶斯定理求出后验概率最大的输出y

该算法输入，输出，过程在后面朴素贝叶斯参数估计会细说。

二、朴素贝叶斯法的学习与分类

基本方法

$输入空间：\chi \subseteq {\mathbb{R}}^n$
输出空间： γ = { c 1 , c 2 , ⋯   , c k } 输出空间：\gamma=\{c_1,c_2,\cdots,c_k\} 输出空间：γ={ c1​,c2​,⋯,ck​}
$输入特征向量：x_i\in \chi ，(i=1,2,\cdots ,N)$
$输出类标记：y_i\in \gamma ，(i=1,2,\cdots ,N)$
$训练数据集T：T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$
$X是定义在输入空间\chi 上的随机变量$
$Y是定义在输出空间\gamma 上的随机变量$
$P(X,Y)是X和Y的联合概率分布$
$训练数据集T就是由P(X,Y)独立同分布产生$

1. 学习联合概率分布$P(X,Y)$
   根据条件概率的定义,事件X在事件Y发生的条件下发生的概率记作：$$P(X|Y)=\frac{P(X,Y)}{P(Y)}$$
   则推出：$$P(X,Y)=P(X|Y)P(Y)$$
   要求$P(X,Y)$必须先求先验概率分布$P(Y)$和条件概率分布$P(X|Y)$。

• 先验概率分布：$P(Y=c_k)，k=1,2,\cdots ,K$
• 条件概率分布：$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)，k=1,2,\cdots ,K$$
  $x_i^{(j)}是第i个样本的第j个特征$

  假设$x^{(j)}$可取值有$S_j$个，$j=1,2,\cdots ,n$，$Y$可取值有$K$个，那么该条件概率分布的参数个数为$$K\prod _{j=1}^n{S}_j(指数级数量)$$
为了使参数个数减少，使算法简单，可能会牺牲一点分类准确率，运用条件独立性假设。
  条件独立性假设：用于分类的特征在类确定的条件下都是条件独立的。
记作：$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
条件独立假设下的该条件概率分布的参数个数为$$Kn{S}_j(线性级数量)$$

没有条件独立性假设：参数数量=特征数量和各特征可能取值数量的排列组合
有条件独立性假设：各个特征在相同条件下独立分布，参数数量=特征数量 x 各特征可能取值数量。

2. 由贝叶斯定理求后验概率

• 贝叶斯定理：
  P ( Y = c k ∣ X =