第四章 朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

1、什么是贝叶斯定理

	条件概率就是事件 A 在另外一个事件 B 已经发生条件下的发生概率。
	在贝叶斯定理中，每个名词都有约定俗成的名称：P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。
	P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。
	P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。
	P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。

按这些术语，贝叶斯定理可表述为：
后验概率 = (相似度 * 先验概率)/标淮化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。另外，比例P(B|A)/P(B)也有时被称作标淮相似度（standardised likelihood），Bayes定理可表述为：
后验概率 = 标淮相似度 * 先验概率
此部分转自：https://www.zhihu.com/question/19725590/answer/32275564

2、朴素贝叶斯法

朴素贝叶斯法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

简单来说，我们输入一条包含多因素的信息，希望得到该条信息的所属类别。比如，输入一条包含一个人的五官的信息，返回的是判断其颜值所属等级。首先，假设我们已经采集了10个人的相关信息，并人为已经划好等级。那么基于已有的评判标准，我们可以求得任意给的一组新的数据的条件概率分布，然后利用贝叶斯定理求出后验概率最大的所属等级，即在五官满足给定数据的条件下，其颜值等级属于哪一级别的概率最大。

设输入空间X⊆R^n为n维向量的集合，输出空间为类标记集合$Y=c_1,c_2,\dots ,c_K.$输入向量$x\in X$，输出类标记$y\in Y.X$是定义在输入空间上的随机变量，Y是定义在输出空间上的随机变量。P(X,Y)是X和Y的联合概率分布。

由贝叶斯定理知：

$$P(Y=c_k|X=x)=P(Y=c_k)(P(X=x|Y=c_k))/(P(X=x))$$
由全概率公式可得：
$$P(X=x)=\sum _{k}P(X=x|Y=c_k)P(Y=c_k)$$
由条件独立性假设可得：
$$P(Y=c_k|X=x)=P(Y=c_k)(\prod _{j}P(X^{(}(j))=x^{(}(j))|Y=c_k))/(\sum _k\prod _{j}P(X^{(}(j))=x^{(}(j))|Y=c_k)P(Y=c_k))$$

因此
$$y=argmax┬(c_k)P(Y=c_k)\prod _{j}P(X^{(}(j))=x^{(}(j))|Y=c_k)$$

即可求得新数据的所属类$y$。

学习参考链接：
https://blog.csdn.net/fisherming/article/details/79509025
https://www.cnblogs.com/marc01in/p/4775440.html
https://blog.csdn.net/li8zi8fa/article/details/76176597