【机器学习】统计学习方法(4)-贝叶斯估计-笔记

第四章 朴素贝叶斯法

• 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
• 朴素贝叶斯法与贝叶斯估计不同。

4.1  朴素贝叶斯法的学习和分类

4.1.1 基本方法

• 输入：$\mathcal{X}\subseteq R^n$为n维向量集合
• 输出： Y = { c 1 , c 2 , . . . , c k } \mathcal{Y} = \{c_1,c_2,...,c_k\} Y={ c1​,c2​,...,ck​}，输出为类标记，$y\in \mathcal{Y}$
• 数据集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}由$P(X,Y)$独立同分布产生。
• 训练过程：通过训练数据集，学习$P(X,Y)$（联合分布概率），也就是分别学习$先验概率分布P(Y=c_k),k=1,2,3...k$和$条件概率分布P(X=x|y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k\}$
  • 但是这种条件概率的计算方式由指数数量的参数，其估计实际是不可行的。

朴素贝叶斯法：

• 朴素贝叶斯法为了解决参数过多的问题，做出了条件独立性的假设：
  $$\begin{gathered} P(X=x|Y=c_k) \\ =P(x^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k) \\ =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$
  即假设用于分类的特征在类确定的条件下是相互独立的。
• 后验概率的计算由贝叶斯定理得出：
  P ( Y = c k ∣ X = x ) = P ( X = x ∣ Y = c k ) P ( Y = c k ) ∑ k P ( X = x ∣ Y = c k ) P ( Y = c k ) P(Y = c_k|X = x)=\frac{P(X = x|Y=c_k)P(Y=c_k)}{\sum_kP(X = x|Y=c_k)P(Y = c_k)}