朴素贝叶斯参数推导（纯数学）

朴素贝叶斯推导参数推导

1 问题回顾

基于贝叶斯的垃圾邮件分类，主要原理是通过对原始邮件数据的分析得出一种模型。根据邮件中单词的内容符合不同标签的概率积的大小，来判断邮件所属的标签类型。

基于贝叶斯的垃圾邮件分类中，计算是某邮件是正常邮件的概率，所用到的公式如（１-１）所示。
$$P(w_1,w_2,w_3,....w_n|正常)\times P(正常)=P(正常)\times \prod _{i=1}^{n}P(w_i|正常)\text{\hspace{1em}(1-1)}$$
以上的有两个需要计算，我们默认是这样计算的,如公式（1-2）和公式（1-3）所示。


$$P(正常)=\frac{正常邮件的个数}{正常邮件的个数+垃圾邮件的个数}\text{\hspace{1em}(1-2)}$$
$$P(w_i|正常)=\frac{正常邮件下w单词出现的次数}{正常邮件下单词的总数}\text{\hspace{1em}(1-3)}$$

2.开始推导

设有邮件数据集   D = { ( X i , Y i ) } \ D=\{(X_i,Y_i)\}  D={(Xi​,Yi​)}
其中$X_i和Y_i$分别表示邮件以及其标签（正常，垃圾）并用1，0 表示。
此外，每一个$X可分解为单词集合$ $w_1,w_2.....w_{m_i}$,其中$m_i$是该文档的单词个数。

2.1构造目标函数

原式（1-1）可化为如下公式（2-1）。

我们认为每个单词之间是独立存在的（这就是朴素贝叶斯的朴素之处）。根据条件独立公式得：

P ( D ) = ∏ i = 0 n    {   ∏ j = 0 m i P ( w j ∣ y i ) ⋅ P ( y i )   } (2-1) P(D)= \prod_{i=0}^n~~\{~\prod_{j=0}^{m_i} P(w_j|y_i)\cdot P(y_i)~\} \tag{2-1} P(D)=i=0∏n​  { j=0∏mi​​P(wj​∣yi​)⋅P(yi​) }(2-1)
取公式(2-1)部分,作如下转化：
$$\prod _{j=0}^{m_i}P(w_j|y_i)\Rightarrow \prod _{j=0}^{V}P(w_j|y_i{)}^{n_{i,j}}\text{\hspace{1em}(2-2)}$$
由于我们改为遍历字典，设字典的长度为V。$n_{ij}$表示第$X_i$ 邮件中，包含$w_j$单词的个数。如果单词不存在，$n_{i,j}=0，则P(w_i|y_i{)}^0=1$，所以真正有效的值，还是$X_i$ 邮件中，包含的单词。所以箭头两边成立。这看似等价的操作，却为以后提供了巨大遍历。具体什么遍历稍后再说，单说回公式（２-１）。
公式（２-１） ，经过公式（２-２） 的变形之后变成如下形式：
P ( D ) = ∏ i = 0 n    {   ∏ j = 0 V P ( w j ∣ y i ) n i , j ⋅ P ( y i )   } (2-3) P(D)= \prod_{i=0}^n~~\{~\prod_{j=0}^{V} P(w_j|y_i)^{n_{i,j}} \cdot P(y_i)~\} \tag{2-3} P(D)=i=0∏n​  { j=0∏V​P(wj​∣yi​)ni,j​⋅P(yi​) }(2-3)

2.2 化简目标函数

下面求其最大值,由于ｌｏｇ函数的单调递增性。取对数后，最大值位置不变。
$$argmaxP(D)=argmax\log [P(D)]$$
由ｌｏｇ函数性质可得
a r g m a x P ( D ) = a r g m a x ∑ i = 0 n    {   ∑ j = 0 V   n i , j ⋅ log ⁡ P ( w j ∣ y i ) + log ⁡ P ( y i )   } argmax P(D)=argmax \sum_{i=0}^n~~\{~\sum_{j=0}^{V}~n_{i,j} \cdot \log P(w_j|y_i) + \log P(y_i)~\} argmaxP(D)=argmaxi=0∑n​  { j=0∑V​ ni,j​⋅logP(wj​∣yi​)+logP(yi​) }

由于这个是二分类问题，我们可以穷举分类，并用ｋ表示。如ｋ＝０　表示垃圾邮件；ｋ＝１　表示正常邮件。于是得公式(2-4)

a r g m a x P ( D ) = a r g m a x ∑ k = 0 1     ∑ i = ( y i = k )    {   ∑ j = 0 V   n i , j ⋅ log ⁡ P ( w j ∣ y i = k ) + log ⁡ P ( y i = k )   } (2-4) argmax P(D)=argmax \sum_{k=0}^1 ~~~\sum_{i=(y_i=k)}~~\{~\sum_{j=0}^{V}~n_{i,j} \cdot \log P(w_j|y_i=k) + \log P(y_i=k)~\}\tag{2-4} argmaxP(D)=argmaxk=0∑1​   i=(yi​=k)∑​  { j=0∑V​ ni,j​⋅logP(wj​∣yi​=k)+logP(yi​=k) }(2-4)

令
$${\theta }_{i,k}=P(w_j|y_i=k)，k=0,1$$
$${\pi }_k=P(y_i=k)，k=0,1$$

结合公式（２-４）,使用最大似然估计（MLE )，得到目标函数(2-5)。
θ M L E , π M L E = a r g m a x { θ , π } ∑ k = 0 1     ∑ i = ( y i = k )    {   ∑ j = 0 V   n i , j ⋅ log ⁡ θ i , k + log ⁡ π k   } (2-5) \theta_{MLE} ,\pi_{MLE}=argmax_{\{\theta,\pi\}}\sum_{k=0}^1 ~~~\sum_{i=(y_i=k)}~~\{~\sum_{j=0}^{V}~n_{i,j} \cdot \log \theta_{i,k}+ \log \pi_k~\}\tag{2-5} θMLE​,πMLE​=argmax{θ,π}​k=0∑1​   i=(yi​=k)∑​  { j=0∑V​ ni,j​⋅logθi,k​+logπk​ }(2-5)

拆分得公式（２-5）得
θ M L E , π M L E = a r g m a x { θ , π } ∑ k = 0 1     ∑ i = ( y i = k )     ∑ j = 0 V   n i , j ⋅ log ⁡ θ i , k + ∑ k = 0 1     ∑ i = ( y i = k ) log ⁡ π k   (2-6) \theta_{MLE} ,\pi_{MLE}=argmax_{\{\theta,\pi\}} \sum_{k=0}^1 ~~~\sum_{i=(y_i=k)}~~~\sum_{j=0}^{V}~n_{i,j} \cdot \log \theta_{i,k}+ \sum_{k=0}^1 ~~~\sum_{i=(y_i=k)} \log \pi_k~\tag{2-6} θMLE​,πMLE​=argmax{θ,π}​k=0∑1​   i=(yi​=k)∑​   j=0∑V​ ni,j​⋅logθi,k​+k=0∑1​   i=(yi​=k)∑​logπk​ (2-6)

由于${\sum }_{i=(y_i=k)}$表示所有取Ｋ值的邮件，不妨令${ｎ}_{ｋ}$表示取ｋ的邮件数。
$$\sum _{i=(y_i=k)}\log {\pi }_k=n_k\cdot \log {\pi }_k$$

代入公式（２-６）得，我们最终的目标函数，如公式（２-７）所示。
θ M L E , π M L E = a r g m a x { θ , π } ∑ k = 0 1     ∑ i = ( y i = k )     ∑ j = 0 V   n i , j ⋅ log ⁡ θ i , k + ∑ k = 0 1 n k ⋅ log ⁡ π k   (2-7) \theta_{MLE} ,\pi_{MLE}=argmax_{\{\theta,\pi\}} \sum_{k=0}^1 ~~~\sum_{i=(y_i=k)}~~~\sum_{j=0}^{V}~n_{i,j} \cdot \log \theta_{i,k}+ \sum_{k=0}^1 n_k\cdot \log \pi_k~\tag{2-7} θMLE​,πMLE​=argmax{θ,π}​k=0∑1​   i=(yi​=k)∑​   j=0∑V​ ni,j​⋅logθi,k​+k=0∑1​nk​⋅logπk​ (2-7)
此外，还有两条约束条件
$$\sum _{k=0}^1{\pi }_k=1\text{\hspace{1em}(s.t.-1)}$$
$$\sum _{j=0}^V{\theta }_{j,k}=1，k=0,1\text{\hspace{1em}(s.t.-2)}$$

2.3 拉格朗日乘数法

根据公式(2-7)、（s.t.-1）和（s.t.-1）结合构建拉格朗日函数。
$$F(\theta ,\pi ,\lambda )=\sum _{k=0}^1\sum _{i=(y_i=k)}\sum _{j=0}^V{n}_{i,j}\cdot \log {\theta }_{i,k}+\sum _{k=0}^1{n}_k\cdot \log {\pi }_k+\lambda \cdot (\sum _{k=0}^1{\pi }_k-1)+\sum _{k=0}^1{\lambda }_k\cdot (\sum _{j=0}^V{\theta }_{j,k}-1)\text{\hspace{1em}(2-8)}$$

2.3.1 对$\theta$ 求偏导

对$\theta$ 求偏导,只要保留和$\theta$相关的项即可，
∂ F ( θ , π , λ ) ∂ θ = ∂ { ∑ k = 0 1    ∑ i = ( y i = k )    ∑ j = 0 V   n i , j ⋅ log ⁡ θ i , k + ∑ k = 0 1 λ k ⋅ ( ∑ j = 0 V θ j , k − 1 ) } ∂ θ \frac{\partial F(\theta,\pi,\lambda)}{\partial \theta} =\frac{\partial \{\sum_{k=0}^1 ~~\sum_{i=(y_i=k)}~~\sum_{j=0}^{V}~n_{i,j} \cdot \log \theta_{i,k}+ \sum_{k=0}^1 \lambda_k\cdot (\sum_{j=0}^V \theta_{j,k}-1) \}}{\partial \theta} ∂θ∂F(θ,π,λ)​=∂θ∂{∑k=01​  ∑i=(yi​=k)​  ∑j=0V​ ni,j​⋅logθi,k​+∑k=01​λk​⋅(∑j=0V​θj,k​−1)}​
为了方便计算，我们只考虑单方向，即忽略k和j的取值，仅仅使用k和j表示某个方向。
∂ F ( θ , π , λ ) ∂ θ = ∂ {    ∑ i = ( y i = k ) n i , j ⋅ log ⁡ θ i , k + λ k ⋅ ( θ j , k − 1 ) } ∂ θ \frac{\partial F(\theta,\pi,\lambda)}{\partial \theta} =\frac{\partial \{ ~~\sum_{i=(y_i=k)} n_{i,j} \cdot \log \theta_{i,k}+ \lambda_k\cdot ( \theta_{j,k}-1) \}}{\partial \theta} ∂θ∂F(θ,π,λ)​=∂θ∂{  ∑i=(yi​=k)​ni,j​⋅logθi,k​+λk​⋅(θj,k​−1)}​
求导得
$$\frac{\partial F(\theta ,\pi ,\lambda )}{\partial \theta }=\sum _{i=(y_i=k)}\frac{n_{i,j}}{{\theta }_{i,k}}+{\lambda }_k$$
令导数为零，求得驻点，如公式（2-9）
$${\theta }_{j,k}=-\frac{1}{{\lambda }_k}\cdot \sum _{i=(y_i=k)}{n}_{i,j}\text{\hspace{1em}(2-9)}$$

代入（s.t.-2）得

$$\sum _{j=0}^V{\theta }_{j,k}=\sum _{j=0}^V(-\frac{1}{{\lambda }_k}\cdot \sum _{i=(y_i=k)}{n}_{i,j})=1$$
从而
$${\lambda }_k=-\sum _{j=0}^V\sum _{i=(y_i=k)}{n}_{i,j}\text{\hspace{1em}(2-10)}$$
代入到公式（２-９）得，
$${\theta }_{j,k}=\frac{{\sum }_{i=(y_i=k)}{n}_{i,j}}{{\sum }_{j=0}^V{\sum }_{i=(y_i=k)}{n}_{i,j}}$$
这也是我们开始所说的
$$P(w_i|正常)=\frac{正常邮件下w单词出现的次数}{正常邮件下单词的总数}$$

2.3.2 对$\pi$ 求偏导

对$\pi$ 求偏导,只要保留和$\pi$相关的项
∂ F ( θ , π , λ ) ∂ π = ∂ { ∑ k = 0 1 n k ⋅ log ⁡ π k + λ ⋅ ( ∑ k = 0 1 π k − 1 ) } ∂ π \frac{\partial F(\theta,\pi,\lambda)}{\partial \pi} =\frac{\partial \{\sum_{k=0}^1 n_k\cdot \log \pi_k+\lambda\cdot ( \sum_{k=0}^1 \pi_k-1 ) \}}{\partial \pi} ∂π∂F(θ,π,λ)​=∂π∂{∑k=01​nk​⋅logπk​+λ⋅(∑k=01​πk​−1)}​
为了方便计算，我们只考虑单方向，即忽略k和j的取值，仅仅使用k和j表示某个方向。
∂ F ( θ , π , λ ) ∂ π = ∂ { n k ⋅ log ⁡ π k + λ ⋅ ( π k − 1 ) } ∂ π \frac{\partial F(\theta,\pi,\lambda)}{\partial \pi} =\frac{\partial \{ n_k\cdot \log \pi_k+\lambda\cdot ( \pi_k-1 ) \}}{\partial \pi} ∂π∂F(θ,π,λ)​=∂π∂{nk​⋅logπk​+λ⋅(πk​−1)}​
求导得
$$\frac{\partial F(\theta ,\pi ,\lambda )}{\partial \pi }=\frac{n_k}{{\pi }_k}+\lambda$$
令导数为零，求得驻点
$${\pi }_k=-\frac{n_k}{\lambda }\text{\hspace{1em}(2-11)}$$

代入（s.t.-1）得

$$\sum _{k=0}^1{\pi }_k=\sum _{k=0}^1-\frac{n_k}{\lambda }=1$$
从而
$$\lambda =-\sum _{k=0}^1{n}_k\text{\hspace{1em}(2-12)}$$
代入到公式（2-11）得
$${\pi }_k=\frac{n_k}{{\sum }_{k=0}^1{n}_k}$$
这也是我们开始所说的

$$P(正常)=\frac{正常邮件的个数}{正常邮件的个数+垃圾邮件的个数}$$

3.问题总结

• 本次朴素贝叶斯的推导，默认认为邮件中的单词是条件独立的，这也是朴素贝叶斯的朴素之处。
• 使用拉格朗日乘数法求得驻点的$\theta$和$\pi$的值，而凸函数是必要的前提，否则无法判断该驻点是否为全局最优解。
• 本次计算默认是二分类问题，即ｋ的取值为０，１　。但是，完全可以推广到ｎ分类问题。
• 在对拉格朗日函数求偏导时，可以只考虑一个分类的一个单词，应为对于整体的数据集，他们相当于一个随机样本（未确定）。