机器学习算法-朴素贝叶斯

对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。

1. 最小错误率决策(最大后验)

$$\begin{gathered} p(error|x)=\{\begin{array}{r} \\ p(w_1|x),decide{w}_2\\ p(w_2|x),decide{w}_1\end{array} \end{gathered}$$
其中$w_{1,2}$是类别标签

2. 最小风险决策(贝叶斯决策)

• 决策代价：将真正的类别$w_j$决策为${\alpha }_i$的风险为：
  $${\lambda }_{ij}=\lambda ({\alpha }_i|w_j)$$
• 条件风险：
  $$R({\alpha }_i|x)=\sum _{j=1}^c\lambda ({\alpha }_i|w_j)p(x_j|x)$$
• 全部风险：
  $$R=\int R(\alpha (x)|x)p(x)dx$$
• 最小风险决策（贝叶斯决策）
  $$\underset{i}{\mathrm{argmin}}R({\alpha }_i|x)$$

这里将决策代价${\lambda }_{ij}$改为0-1损失函数就将贝叶斯决策（最小风险决策）转换为最小错误率决策（最大后验）

3. 朴素贝叶斯分类

朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$,将后验概率最大的类作为$x$的类输出。后验概率计算根据贝叶斯定理尽心：
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$