【笔记_统计学习方法】ch4 朴素贝叶斯

【算法原理】

1）利用训练数据集的【先验概率（边缘概率）、条件概率】的估计，可求得联合概率
2）对给定的输入x，通过模型计算其【后验概率分布 P(Y | x)】，将后验概率最大的类作为x的输出。后验概率计算根据贝叶斯定理进行，最后选择后验概率最大的类

1. 概念

联合概率、边缘概率、条件概率、三者关系
先验概率、后验概率

1、先验概率：
事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。
2、后验概率：
事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。
3、条件概率：
一个事件发生后另一个事件发生的概率。一般的形式为P(x|y)表示y发生的条件下x发生的概率。
贝叶斯公式：

P(y|x) = ( P(x|y) * P(y) ) / P(x)

这里：
P(y|x) 是后验概率，一般是我们求解的目标。
P(x|y) 是条件概率，又叫似然概率，一般是通过历史数据统计得到。一般不把它叫做先验概率，但从定义上也符合先验定义。
P(y) 是先验概率，一般都是人主观给出的。贝叶斯中的先验概率一般特指它。
P(x) 其实也是先验概率，只是在贝叶斯的很多应用中不重要（因为只要最大后验不求绝对值），需要时往往用全概率公式计算得到。
实例：假设y是文章种类，是一个枚举值；x是向量，表示文章中各个单词的出现次数。
在拥有训练集的情况下，显然除了后验概率P(y|x)中的x来自一篇新文章无法得到，p(x),p(y),p(x|y)都是可以在抽样集合上统计出的。
4、最大似然理论：
认为P(x|y)最大的类别y，就是当前文档所属类别。即Max P(x|y) = Max p(x1|y)p(x2|y)**…p(xn|y), for all y
5、贝叶斯理论：
认为需要增加先验概率p(y)，因为有可能某个y是很稀有的类别几千年才看见一次，即使P(x|y)很高，也很可能不是它。
所以y = Max P(x|y) * P(y), 其中p(y)一般是数据集里统计出来的。
从上例来讲，贝叶斯理论显然更合理一些；但实际中很多先验概率是拍脑袋得出的（不准），有些甚至是为了方便求解方便生造出来的（硬凑），那有先验又有什么好处呢？一般攻击贝叶斯都在于这一点。

深度网络可以理解为根据先验概率p(x)（上一层网络），通过最大似然估计，得到后验概率p(y|x)（该层网络）。

2. 后验概率最大化

等价于【期望风险最小化】

3. 参数估计方法

3.1 极大似然估计

用已知的样本结果，反推最有可能（最大概率）导致该结果的参数值
通过对先验概率P(Y)和类条件概率P(X|Y)的极大似然估计，可求出：

联合概率 P(X, Y) = P(X|Y) * P(Y)

3.2 贝叶斯估计

在极大似然估计的基础上，增加【拉普拉斯平滑】

4. 算法

1. 利用极大似然估计，计算：类别的先验概率P(Y)、类条件概率P(X|Y)
   类条件概率P(X|Y)是在一种类别下，各特征出现的概率
2. 对于输入的实例向量x，利用贝叶斯公式，计算各类别的后验概率P(Y|X)

求：P(Y) * ΠP(X|Y) 最大的类别，作为x的类