机器学习终极总结——朴素贝叶斯法

朴素贝叶斯法

---

转载请注明作者和出处：http://blog.csdn.net/m0_37959404
未来将更新机器学习之于sklearn包中的用法，尽情期待。

基本知识

训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$
由 $P(X,Y)$独立同分布产生。
先验概率分布： $P(Y=c_k)\ ,\ k=1,2,...,K$
条件概率分布： $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
$\ \ \ \ k=1,2,...,K$
朴素贝叶斯法对条件概率分布作了条件独立性假设：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)\\=\prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k)$$
将后验概率最大的类作为x的类输出。
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_k{P(X=x|Y=c_k)P(Y=c_k)}}\\=\frac{P(Y=c_k)\prod_j P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_k{P(Y=c_k)}\prod_j P(X^{(j)}=x^{(j)}|Y=c_k)}$$
$$y=f(x)=\mathop{\arg\min}_{c_k} \frac{P(Y=c_k)\prod_j P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_k{P(Y=c_k)}\prod_j P(X^{(j)}=x^{(j)}|Y=c_k)}$$
#分母都相同，因而省略分母
$$y=\mathop{\arg\min}_{c_k} P(Y=c_k)\prod_j P(X^{(j)}=x^{(j)}|Y=c_k)$$