本文是作者对李航《统计学习方法》中朴素贝叶斯法的学习笔记，介绍了朴素贝叶斯法的基本概念、联合概率分布、条件独立假设以及后验概率的推导。该方法以特征条件独立为基础，简化了概率估算，具有实现简单和高效的特点。
朴素贝叶斯法
该文章是本人对 李航 的《统计学习方法》的学习记录。
朴素贝叶斯法是级语贝叶斯定理与特征条件独立假设的分类方法。
定义
朴素贝叶斯法对给定的训练数据集，首先学习输入输出的联合概率分布；然后使用贝叶斯定理求出后验概率。该方法有实现简单，效率高的特点。
设输入空间 X ⊆ R n X \subseteq R^n X⊆Rn为n维向量的集合，输出空间为类别的标记 Y = { c 1 , c 2 , . . . , c k } Y=\{c_1,c_2,...,c_k\} Y={c1,c2,...,ck}。输入为特征向量 x ∈ X x\in X x∈X， 输出 y ∈ Y y\in Y y∈Y。训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} T={(x1,y1),(x2,y2),...,(xn,yn)}由联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)独立同分布产生。
首先，学习先验概率分布与条件概率分布。其中先验概率分布为 P ( Y = c k ) , k = 1 , 2 , . . . , K P(Y=c_k), k=1,2,...,K P(Y=ck),k=1,2,...,K, 条件概率分布为 P ( X = x ∣ Y = c k ) = P ( X 1 = x 1 , X 2 = x 2 , . . . , X n = x n ∣ Y = c k ) , k = 1 , 2 , . . . , K P(X=x|Y=c_k)=P(X^1=x_1,X^2=x_2,...,X^n=x_n|Y=c_k), k=1,2,...,K P(X=x∣Y=ck)=P(X1=x1,X2=x2,...,Xn=xn∣Y=ck),k=1,2,...,K。这样就学习到了联合概率分布。
可以看到，条件概率分布在参数较多时很难实际估测，这里朴素贝叶斯法做了一个强假设，即条件独立性的假设。 P ( X = x ∣ Y = c k ) = P ( X 1 = x 1 , X 2 = x 2 , . . . , X n = x n ∣ Y = c k ) = ∏ j = 1 n P ( X j = x j ∣ Y = c k ) P(X=x|Y=c_k)=P(X^1=x_1,X^2=x_2,...,X^n=x_n|Y=c_k)=\prod\limits_{j=1}^nP(X^j=x^j|Y=c_k) P(X=x∣Y=ck)=P(X1=x1,X2=x2,...,Xn=xn∣Y=ck)=j=1∏nP(Xj=xj∣Y=ck)。
使用贝叶斯定理，即可推导出后验概率 P ( Y = c k ∣ X = x ) = P ( X = x ∣ Y = c k ) P ( Y = c k ) ∑ k P ( X = x ) Y = c k ) P ( Y = c k ) P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum\limits_kP(X=x)Y=c_k) P(Y=c_k)} P(Y=ck∣X=x)=k∑P(X=x)Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck)
扫一扫
111
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
