《机器学习》 小白Python学习笔记（九） ————第七章 贝叶斯分类器

引言

说到贝叶斯分类器，必然离不开的是贝叶斯公式：
$$P\left(B_i\mid A\right)=\frac{P\left(A\mid B_i\right)P\left(B_i\right)}{{\sum }_{j=1}^{n}P\left(A\mid B_j\right)P\left(B_j\right)},i=1,2,\cdots ,n$$
等式右侧的分母其实是根据全概率公式将$P(A)$展开，分子实际是根据条件概率公式将$P(AB)$展开。
在贝叶斯分类器中我们通常表示为：
$$P\left(C\mid \mathbf{x}\right)=\frac{P\left(\mathbf{x}\mid C\right)P\left(C\right)}{{\sum }_{j=1}^{n}P\left(\mathbf{x}\mid C\right)P\left(C\right)},i=1,2,\cdots ,n$$
其中，我们将$P\left(C\right)$称为先验概率，即在事情发生之前，根据以往的经验等推测未来此事件发生的概率；将$P\left(\theta \right|\mathbf{x})$称为后验概率，即在事情发生之后，分析由各种原因导致发生的概率。
贝叶斯分类器就是根据先验概率利用贝叶斯公式计算出各种分类的后验概率，选择最大的后验概率所对应的分类结果。

贝叶斯决策论

贝叶斯决策论是在概率框架下基于已知的相关概率和误判损失来选择最优分类的决策方法。
假设样本集共有N种类别，即$c_1,c_2,\cdots ,c_N$,${\lambda }_{ij}$是将一个本来标记为$c_i$的样本错误标记成$c_j$所产生的损失，$P$