【机器学习】贝叶斯分类器（算法原理实现及sklearn实现）

系列文章目录

第一章 先验概率和后验概率的通俗解释（贝叶斯分类）
第二章 贝叶斯公式证明及Bayesain在机器学习重要地位的理解
第三章 【机器学习】贝叶斯分类器

---

---

前沿

  贝叶斯分类器作为“生成式模型”可处理多分类问题，在数据较少的情况下依然有效，本文介绍了算法原理推导及基于算法原理的代码实现与基于sklearn包的代码实现。

一、贝叶斯决策论

  贝叶斯决策论是概率框架下实施决策的基本方法，对于分类任务，在所有相关概率都已知的理想情形下，该方法考虑如何基于这些概率和误判损失来选择最优的类别标记。
  假设有 N 中可能的类别标记，即 $y=(c_1,c_2,...,c_N),{\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P(c_i|x)$可获得将样本$x$分类为$c_i$所产生的期望损失，即在样本$x$上的“条件风险”
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)$$  在一次分类过程中我们希望分类结果尽可能接近真实值，即要求总体的期望损失最小，这就产生了贝叶斯判别准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记,即
$$h^{\ast }(x)=ar{g}_{c\in y}minR(c|x)$$  此时，$h^{\ast }$称为贝叶斯最优分类器,与之对应的总体风险$R(h^{\ast })$称为贝叶斯风险。$1-R(h^{\ast })$反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。其中，贝叶斯风险$R(h)$为
$$R(h^{\ast })=E_x[R(h^{\ast }(x)|x)]$$若目标是最小化分类错误率，则误判损失${\lambda }_{ij}$可写为
λ i j = { 0 , i = j ; 1 , o t h e r w i s e \lambda_{ij} = \{ \begin{array}{rcl} 0, & i=j;\\ 1, &otherwise\end{array} λij​={ 0,1,​i=j;otherwise​此时的条件风险$$R(c|x)=$$