机器学习之朴素贝叶斯

训练数据集为
T = { ( x 1 , y 2 ) , ( x 2 , y 2 ) , . . . ( x n , y n ) } T=\{(x_1,y_2),(x_2,y_2),...(x_n,y_n)\} T={(x1​,y2​),(x2​,y2​),...(xn​,yn​)}
朴素贝叶斯通过训练数据集学习联合概率分布$P（X,Y）$。

根据概率论乘法公式：$P(X,Y)=P(Y)P(X|Y)$

学习联合概率可转换为学习先验概率分布及条件概率分布。
先验概率分布：
$P(Y=c_k),k=1,2,...,K$

根据大数定理：当数据充足时，直接使用频率可以估计为概率，所以我们认为数据充足的时候先验概率是可以计算的。

条件概率分布：
$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...X^{(n)}=x^{(n)}|Y=c_k),k=1,1...K$

注：上标数字代表一个样本中的第n个属性或者特征。

但是条件概率分布$P(X=x|Y=c_k)$有指数级数量的参数，其估计实际是不可行的。事实上，假设$x^{(j)}$可取值有$S_j$个，j=1,2,…n，Y可取值有K个，那么参数个数为$K{\prod }_{j=1}^n{S}_j$，在实际应用中，这个值远远大于训练样本数，也就是说，有些取值在训练集中都没有出现，如果用频率来估计概率显然不可行，“未被观测到”和“出现概率为零”是不同的概念。
朴素贝叶斯对条件概率分布作了条件独立性的假设，这是一个较强的假设，朴素贝叶斯也由此得名。该假设是：
$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...X^{(n)}=x^{(n)}|Y=c_k)={\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$
通过这个假设参数降为$K{\sum }_{j=1}^n{S}_j$

举例说明： 假如有属性一的取值为0,1，属性二的取值为A,B,C，标签Y 的取值只有一种，如果我们不使用条件独立性假设，那么待求的参数有P(0,A)，P(0,B)，P(0,C)，P(1,A)，P(1,B)，P(1,C)6个，而使用条件独立性假设只有P(0),P(1),P(A),P(B),P(C )5个，当属性的取值更多时，属性更多时，这个差距会更大。

很明显朴素贝叶斯先对联合概率建模，再求得后验概率最大，是一种典型的生成式模型
后验概率根据贝叶斯定理进行：
$P(Y=c_k|X=c_k)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_1^{k}P(X=x|Y=c_k)P(Y=c_k)}$
将条件独立假设引入：
$P(Y=c_k|X=c_k)=\frac{P(Y=c_k){\prod }_1^{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_1^{k}P(Y=c_k){\prod }_1^{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$
朴素贝叶斯分类器可表示为：
$y=f(x)=argmax\frac{P(Y=c_k){\prod }_1^{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_1^{k}P(Y=c_k){\prod }_1^{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$
对于分母来说所有$c_k$都是相同的，而我们只关心大小关系而不关心具体的取值，所以可省略分母写为：
$y=f(x)=argmaxP(Y=c_k){\prod }_1^{j}P(X^{(j)}=x^{(j)}|Y=c_k)$

待更新

待更新