朴素贝叶斯（分类）推导

传统的分类器朴素贝叶斯很多人都知道怎么用，但是有没有想过它的原理，它是怎么样被一步一步的推导出来的。今天咱们就推导一下朴素贝叶斯模型。
现在有数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } D=\{(x^1,y^1),(x^2,y^2),...,(x^n,y^n)\} D={ (x1,y1),(x2,y2),...,(xn,yn)}
$x$表示的是一个文档的所有单词
$y$表示的是一个文档属于的类别。
$n$表示的是文档的数量

首先我们知道朴素贝叶斯是一个生成模型因此我们的目标函数可以写成：
$p(D)={\prod }_{i=1}^{n}p(x^i,y^i)={\prod }_{i=1}^{n}p(x^i|y^i)\cdot p(y^i)={\prod }_{i=1}^{n}p(x_1^i,x_2^i,x_3^i,...,x_m^i|y^i)\cdot p(y^i)$

上面就是一个正常的生成模型的样子，相当于一个框架吧，下面我们加入朴素贝叶斯的核心思想：条件独立假设，所以我们的公式可以写成:

$p(D)={\prod }_{i=1}^n{\prod }_{j=1}^{m}p(x_j^i|y^i)\cdot p(y^i)$

下面我们的目标就是最大似然优化参数啦。也就是：

$argmaxp(D)=argmax{\prod }_{i=1}^n{\prod }_{j=1}^{m}p(x_j^i|y^i)\cdot p(y^i)=argmax\log [{\prod }_{i=1}^n{\prod }_{j=1}^{m}p(x_j^i|y^i)\cdot p(y^i)]$

= a r g m a x log ⁡ [ ∏ i