朴素贝叶斯法

• 要解决的问题
  训练数据集： $$T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})}$$

• 基本思想
  朴素贝叶斯法通过上述训练数据集学习联合概率分布$P(X,Y)$
  可以通过先验概率分布

  $$P(Y=c_k), k=1,2,...,K$$
  和条件概率分布 $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},..,X^{(n)}=x^{(n)}|Y=c_k)$$ 来计算联合概率分布。其中K是总的分类数，n是输入变量的维数

• 基本假设
  条件独立假设：
  

  $$\begin{eqnarray}P(X=x|Y=c_k) &=&P(X^{(1)}=x^{(1)},..,X^{(n)}=x^{(n)}|Y=c_k)\\ &=&\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k) \end{eqnarray}$$

• 贝叶斯定理
  $$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$
• 朴素贝叶斯分配器
  $$\begin{eqnarray}y=f(x) &=&\mathop{\arg\max}_{c_k}\frac{P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_kP(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)}\\ &=&\mathop{\arg\max}_{c_k}{P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)} \end{eqnarray}$$
  朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。
• 朴素贝叶斯法的参数估计
  在朴素贝叶斯法中，学习意味着估计先验概率$P(Y=c_k)$和条件概率$P(X=x|Y=c_k)$
  有两种参数估计的方法：极大似然估计和贝叶斯估计。
  
  • 极大似然估计
    $$P(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N}$$
    $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}$$
    其中$j=1,2,...,n; l=1,2,...,S_j; k=1,2,...K$
  • 贝叶斯估计
    极大似然估计可能会出现所要估计的概率值为0的情况，从而影响后验概率的计算，使分类产生偏差。
    $$P(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)+\lambda}{N+K\lambda}$$
    $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^NI(y_i=c_k)+S_j\lambda}$$
• 朴素贝叶斯算法
  
  • 计算先验概率及条件概率，如上通过最大似然估计或贝叶斯估计；
  • 对于给定的实例$x={(x^{(1)},(x^{(2)},...,(x^{(n)})}^T$，计算${P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)}$；
  • 确定实例$x$的类$\mathop{\arg\max}_{c_k}{P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)}$。