细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（五）

第五节：分类器中的天真小弟 —— 朴素贝叶斯

朴素贝叶斯文本分类模型

考虑如下文本分类模型：$P(y_i,d_i)$ 表示一篇文章以及它的 label 的联合概率。$d_i$ 指第 i 条训练数据中的文本。假设 $d_i$ 中每个词都是一个特征。

条件独立分布假设：已知文本标签的条件下，特征的分布是相互独立的。（已知标签后 $y_i$，$d_i$ 的概率等于该文本中每个词出现的概率乘积。

利用贝叶斯条件概率公式：

$P(y_i,d_i)=P(y=y_i)P(d_i|y=y_i)$

$=P(y=y_i)\prod _{j=1}^{V}P(x_j|y=y_i{)}^{C_{d_i}(x_j)}$

其中，$V$ 代表字典的 size，$x_j$ 代表 the $j^{th}$ word in dictionary，$C_{d_i}(x_j)$ 代表词 $x_j$ 在文件 $d_i$ 中出现的次数。

Define：$P(y=y_i)={\pi }_{y_i},P(x_j|y=y_i)={\theta }_{y_i,x_j}\leftarrow$ 这两种概率就是我们要估计的参数

$\Rightarrow P(y_i,d_i)={\pi }_{y_i}\prod _{j=1}^V{({\theta }_{y_i,x_j})}^{C_{d_i}(x_j)}$

用最大似然法估计朴素贝叶斯的最佳参数

(参数下面带波浪线代表是参数向量 / 矩阵, D 代表数据集中文件的总个数)

$Likelihood(\underset{\sim }{\pi },\underset{\sim }{\theta })=\prod _{i=1}^{D}P(y_i,d_i)$

$=\prod _{i=1}^D[{\pi }_{y_i}\prod _{j=1}^V{({\theta }_{y_i,x_j})}^{C_{d_i}(x_j)}]$

$log(Likelihood(\underset{\sim }{\pi },\underset{\sim }{\theta }))=\sum _{i=1}^D[log{\pi }_{y_i}+\sum _{j=1}^V{C}_{d_i}(x_j)log({\theta }_{y_i,x_j})]$

约束：$\{\begin{array}{l}①\sum _{k=1}^K{\pi }_k=1\\ ②foreveryk,\sum _{j=1}^V{\theta }_{k,j}=1\end{array}$

$log(L_{{\pi }_k})=\sum _{i=1}^D[log{\pi }_{y_i}+\sum _{j=1}^V{C}_{d_i}(x_j)log({\theta }_{y_i,x_j})]+\alpha (\sum _{k=1}^K{\pi }_k-1)\leftarrow$ 对 ${\pi }_k$ 求最优解，对第一个约束引入拉格朗日乘子

$\frac{\partial log(L_{{\pi }_k})}{\partial {\pi }_k}=\sum _{i=1}^D\frac{1}{{\pi }_k}{I}_{y_i=k}+\alpha =0,$ $for$