统计学习模型——朴素贝叶斯法

• 朴素贝叶斯法的三要素：学习输入/输出的联合概率分布、后验概率最大化、通过极大似然估计或贝叶斯估计进行参数求解

一、储备知识

• 全概率公式：完备事件组$A_1,\cdots ,A_n$，$A_1\cup \cdots \cup A_n$，$A_i{A}_j=\varnothing ,i\ne j$，有
  $$\begin{array}{rl}B\cap \Omega & =B\cap (A_1\cup \cdots \cup A_n)\\ & =(B{A}_1)\cup \cdots \cup (B{A}_n)\end{array}$$且$(B{A}_i)\cap (B{A}_j)=\varnothing ,i\ne j$，从而
  $$\begin{array}{rl}P(B)& =P(A_{1}B)+\cdots +P(A_{n}B)\\ & =\sum _{i=1}^{n}P(A_{i}B)\\ & =\sum _{i=1}^{n}P(A_i)P(B|A_i)\end{array}$$
• 贝叶斯定理：$$P(A_i|B)=\frac{P(A_{i}B)}{P(B)}=\frac{P(}{P(B)}$$