《统计学习方法》笔记——朴素贝叶斯

本章学习目标

1.理解朴素贝叶斯模型的模型假设。

2.理解后验概率最大化与期望损失最小化的关系。

3.掌握极大似然估计的求解过程。

4.掌握贝叶斯估计的求解过程。

5.掌握贝叶斯估计的算法实现

---

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。“特征条件独立”假设是被称为“朴素”的原因。
做法：给定训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。
首先来说一下两个概念：“先验概率”和“后验概率”
“先验概率”：是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。
“后验概率”：指依据得到"结果"信息所计算出的最有可能是那种事件发生,是“执果寻因”。

基本方法

训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1), (x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)} 由$X$与$Y$的联合概率分布$P(X,Y)$独立同分布产生。
朴素贝叶斯法通过训练数据学习联合概率分布$P(X,Y)$。具体地，学习以下先验概率及条件分布：
先验分布$$P(Y=c_k),k=1,2,...,K$$
条件概率分布$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...K$$
于是学习到联合概率分布$P(X,Y)$。
朴素贝叶斯法对条件概率做了条件独立性的假设。于是

朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类输出。后验概率计算根据贝叶斯定理进行，并将条件概率带入：

这就是朴素贝叶斯法分类的基本公式。于是，朴素贝叶斯分类器可表示为
$$y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum _{k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
书上所说，式中分母对所有$c_k$都是相同的，所以有$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$
根据自己理解，后验概率

所以有贝叶斯分类器
y = f ( x ) = a r g max ⁡ c k P ( Y = c k ) ∏ j P ( X ( j ) = x ( j ) ∣ Y = c k ) P ( X = x ) y = f(x) = arg\max\limits_{c_k}\frac{P(Y=c_k)\prod\limits_{j}{P(X^{(j)}=x^{(j)}|Y=c_k})}{P(X=x)}