概述
- 朴素贝叶斯,朴素的含义在与对输入数据的特征做了独立性假设,简化了模型。贝叶斯顾名思义,采用了贝叶斯定理。一句话总结,基于贝叶斯定理和独立假设的分类方法。
- 参数估计中极大似然估计与贝叶斯估计的区别,以及参数的理解。
- 最大后验(MAP)假设的理论依据。
1.数学建模
- 数学概念
条件概率:p(A|B)=P(AB)p(B)条件独立:P(A,B|C)=P(A|C)P(B|C)p(AB)=p(A|B)p(B)=p(B|A)p(A)贝叶斯公式:p(B|A)=p(A|B)p(B)p(A)全概率公式:假设B1,B2,...,Bn为事件B的完备集划分,即它们的并集为B但又互相无交集。则有和B独立的事件A可以表示为:p(A)=∑i=1np(A|Bi)p(Bi)。 条 件 概 率 : p ( A | B ) = P ( A B ) p ( B ) 条 件 独 立 : P ( A , B | C ) = P ( A | C ) P ( B | C ) p ( A B ) = p ( A | B ) p ( B ) = p ( B | A ) p ( A ) 贝 叶 斯 公 式 : p ( B | A ) = p ( A | B ) p ( B ) p ( A ) 全 概 率 公 式 : 假 设 B 1 , B 2 , . . . , B n 为 事 件 B 的 完 备 集 划 分 , 即 它 们 的 并 集 为 B 但 又 互 相 无 交 集 。 则 有 和 B 独 立 的 事 件 A 可 以 表 示 为 : p ( A ) = ∑ i = 1 n p ( A | B i ) p ( B i ) 。 - 建模分析
- 现在,我们要解决的问题是给定一个样本 x x 求它的类别
,其中 x∈X x ∈ X , y∈Y y ∈ Y 。此处引入统计概率的概念——采样,我们认为训练集是真实数据的独立同分布的采样,即你的训练集是从满足分布规律 P(Xtrue,Ytrue) P ( X t r u e , Y t r u e ) 中采样得到的,基于大数定律和独立同分布假设,可以认为 P(X,Y) P ( X , Y ) 是 P(Xtrue,Ytrue) P ( X t r u e , Y t r u e ) 很好的近似。因此现在的目的是从训练数据出发来求这个条件分布 P(Y|X) P ( Y | X ) 。至此,可以这样建模:
P(Y|X)=P(X,Y)P(X) P ( Y | X ) = P ( X , Y ) P ( X )
这里考察一下这个模型,求得数据的联合分布以及特征数据 x x 的evidence,从而求得最终的模型,我们学到的是数据的生成过程和机制,因此是生成式模型。 - 继续分析,利用贝叶斯公式或者从条件概率推导,我们可以将上述模型转换为:
- 现在,我们要解决的问题是给定一个样本 x x 求它的类别
,其中 x∈X x ∈ X , y∈Y y ∈ Y 。此处引入统计概率的概念——采样,我们认为训练集是真实数据的独立同分布的采样,即你的训练集是从满足分布规律 P(Xtrue,Ytrue) P ( X t r u e , Y t r u e ) 中采样得到的,基于大数定律和独立同分布假设,可以认为 P(X,Y) P ( X , Y ) 是 P(Xtrue,Ytrue) P ( X t r u e , Y t r u e ) 很好的近似。因此现在的目的是从训练数据出发来求这个条件分布 P(Y|X) P ( Y | X ) 。至此,可以这样建模: