朴素贝叶斯理论推导 多项式分布 利用极大似然估计进行参数估计

朴素贝叶斯理论推导 多项式分布与伯努利分布 利用极大似然估计进行参数估计

（一）：贝叶斯定理

先从条件概率来看

$$\begin{gathered} P(AB)=P(A|B)\times P(B) \\ P(AB)=P(B|A)\times P(A) \end{gathered}$$
上式中，A,B事件同时发生的概率等于：

B发生时，A发生的概率乘B事件发生的概率。
或者可以说是A发生时，B发生的概率乘A事件发生的概率。

举个例子：
A：喝一杯牛奶，B：吃一块面包
P(A|B)：在吃一块面包的情况下，喝一杯牛奶的概率
此时若求P(AB)则要注意，P(A|B)是有条件存在的，但他的条件（吃一块面包） 仍然存在发生的概率。那么P(AB)：既吃面包也喝了牛奶的概率 就是 先吃一块面包的概率乘上在这个条件下，喝了牛奶的概率。

由上面两个等式可知：
$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A)\times P(A)}{P(B)}$$
现在再引入全概率公式 ：
$$P(B)=\sum _{i=1}^{n}P(B|A_i)\times P(A_i)$$
则有：
$$P(A|B)=\frac{P(B|A)\times P(A)}{\sum _{i=1}^{n}p(B|A_i)\times P(A_i)}$$
这就是贝叶斯公式了。

（二）数据的定义

数据集：（i是数据集下标）
( X , Y ) = {      ( x 1 , y 1 )    ,    ( x 2 , y 2 ) . . . ( x i , y i ) . . . ( x N , y N )    } (X,Y)=\{\;\;(x_1,y_1)\;,\;(x_2,y_2)...(x_i,y_i)...(x_N,y_N)\;\}\\ (X,Y)={(x1​,y1​),(x2​,y2​)...(xi​,yi​)...(xN​,yN​)}
X是一个含有n维度（n个特征）的向量 （下标是h）
$$\begin{gathered} X⊑{\mathbb{R}}^n \\ X=({\omega }_1，{\omega }_2.....{\omega }_h....{\omega }_n) \end{gathered}$$
这里注意，每个维度也存在多种的可能性的，现在我们规定每个维度${\omega }_h$有$S_t$种可能性。
意思就是，比如X是一篇文章，w就是其中的某一个单词，而S_t就是这个单词可能出现的情况。w1 表示第一个单词，这个单词可能取值会有 Today、Hi、Hello等可能性。
$${\omega }_h=1,2...S_t...S_h$$

Y是该变量X的分类情况，比如一篇文章的分类可能是小说、散文、诗歌等等。 （下标用j表示）
Y = { c 1 , c 2 . . . . c j . . . . c k } Y=\{c_1,c_2....c_j....c_k\}\\ Y={c1​,c2​....cj​....ck​}

（二）朴素贝叶斯——多项式模型：

模型的目标：
首先这个模型解决的问题是分类问题。
朴素+贝叶斯：朴素的意思就是概率独立性，贝叶斯就是运用贝叶斯定理。合在一起就是朴素贝叶斯。
但是同逻辑回归、SVM不同，朴素贝叶斯模型是以概率角度出发去做出分类的。
分类的原理就是找一个概率最大化的思想。其实就是求$argmaxP(Y|X)$ 在给我一个X（一篇文章）的情况下，求出他是哪个类型的概率最大。
比如它是散文的概率0.2、是小说的概率0.6、是诗歌的概率0.4。那么我们就说他是小说这个类别的。这就是这个模型的分类原理。

模型的求解：
根据上面说的，我们就是要求出$argmaxP(Y|X)$这个就行了，但是直接没办法求，我们需要用到贝叶斯公式。现在将贝叶斯公式代入：
$$P(Y=c_j|X=x_i)=\frac{P\left(X=x|Y=c_j\right)\times P\left(Y=c_j\right)}{P(X=x_i)}$$
要算的就是 给出一篇文章xi，它是cj类型的概率。

这里 有几个名词：
先验概率：就是根据已有知识不用做推断和概率假设能得到的概率，比如有10篇文章按照6：4装在AB两个盒子里，A盒子里有三篇小说。先验就是问A中拿出一本小说类型的概率是多少。直接可以知道是3/5
后验概率：就是现在的知识得不到的，比如现在我们要求的，拿出一篇文章是小说问它是从A拿出来概率。
似然性：也就是上面式子分子的那个条件概率。

现在注意一个问题，我们是要找不同 $j$ 值下的 $P(Y=c_j|X=x_i)$中最大的那一个概率，而每一个$j$ 值下的 $P(Y=c_j|X=x_i)$按照贝叶斯公式展开的分母都是$P(X=x_i)$，所以只用比较他们的分子大小即可。

要求的概率转化为求一个条件概率和一个先验：
$$\begin{gathered} P\left(X=x|Y=c_j\right) \\ P\left(Y=c_j\right) \end{gathered}$$
先验我们是知道的，现在来看看这个条件概率：
先把X按n维展开
$$P\left(X=x|Y=c_j\right)=P（W_1={\omega }_1,W_2={\omega }_2....W_n={\omega }_n|Y=c_j)$$
这里我们就有了大问题，w1，w2…wn这有n个维度呢。这里我们会得到很多参数，参数个数为：
$$K\times \prod _{h=1}^n{S}_h$$
因为每个维度都有很多可能性。这样给计算带来了巨大的麻烦。所以映入朴素的概念。
朴素就是一种假设，假设n维内 任意两个维度之间是无关的.$${\omega }_i\perp {\omega }_j\left(i\ne j;i，j<n\right)$$

这里举个例子：
$P(ABC)=P(A)P(B)P(C)$ 当且仅当ABC事件相互独立
这样子我们要求的参数个数就变成了：$K{\sum }_{h=1}^n{S}_h$ 不再是指数量级了

现在将要求的条件概率写成n维连乘的形式
$$P\left(X=x|Y=c_j\right)=\prod _{h=1}^{n}P（W_h={\omega }_h|Y=c_j）$$
接着把单个维度的可能性也展开：
P ( W h = ω h ∣ Y = c j ) = ∏ t = 1 S h    P ( ω h = S h t ∣ Y = c j ) I { ω h = S h t , Y = c j }    P(W_h=\omega_h\vert Y=c_j)=\prod_{t=1}^{S_h}\;P{(\omega_h=S_{ht}\vert Y=c_j)}^{I\{\omega_h=S_{ht},Y=c_j\}}\; P(Wh​=ωh​∣Y=cj​)=t=1∏Sh​​P(ωh​=Sht​∣Y=cj​)I{ωh​=Sht​,Y=cj​}
为了简化参数（参数就是不知道的概率，就是上面说过的先验和这个条件概率）
P ( W h = ω h ∣ Y = c j ) = ∏ t = 1 S h    θ h t I { ω h = S h t , Y = c j } P(W_h=\omega_h\vert Y=c_j)=\prod_{t=1}^{S_h}\;\theta_{ht}^{I\{\omega_h=S_{ht},Y=c_j\}}\\ P(Wh​=ωh​∣Y=cj​)=t=1∏Sh​​θhtI{ωh​=Sht​,Y=cj​}​
条件概率最终化简为：
P ( X = x ∣ Y = c j ) = ∏ h = 1 n ∏ t = 1 S h    θ h t I { ω h = S h t , Y = c j } P(X=x\vert Y=c_j)=\prod_{h=1}^n\prod_{t=1}^{S_h}\;\theta_{ht}^{I\{\omega_h=S_{ht},Y=c_j\}}\\ P(X=x∣Y=cj​)=h=1∏n​t=1∏Sh​​θhtI{ωh​=Sht​,Y=cj​}​

（三）多项式模型 MLE 最大似然估计：

最大似然函数：
（现在要估计的参数就是先验和条件概率，为了方便，就简写为参数）
$$l(参数)=\log \prod _{i=1}^{N}P(XY)$$
现在用之前的概率公式转换为
$$\Rightarrow \log \prod _{i=1}^{N}P(X|Y)\times P(Y)$$
n维展开特征维度
$$\Rightarrow \log \prod _{i=1}^N\left[\begin{array}{c}{\prod }_{h=1}^{n}P(W_j^i={\omega }_j^i|Y=c_j)\end{array}\right]\times P(Y)$$
此时 P(Y)可以用先验参数化
P ( Y ) = ∏ j = 1 K P ( Y = c j ) I { Y = c j } P(Y)=\prod_{j=1}^KP{(Y=c_j)}^{\boldsymbol I\boldsymbol\{\boldsymbol Y\boldsymbol={\boldsymbol c}_{\mathbf j}\boldsymbol\}}\\ P(Y)=j=1∏K​P(Y=cj​)I{Y=cj​}
P ( Y ) = ∏ j = 1 K π j I { Y = c j } P(Y)=\prod_{j=1}^K\pi_j^{\boldsymbol I\boldsymbol\{\boldsymbol Y\boldsymbol={\boldsymbol c}_{\mathbf j}\boldsymbol\}} P(Y)=j=1∏K​πjI{Y=cj​}​

走到这里，我们简化得到了两个参数 ${\pi }_j{\theta }_{ht}$,现在继续用MLE估计它们
⇒ log ⁡ ∏ i = 1 N      [ ∏ h = 1 n P ( W j i = ω j i    ∣ Y = c j ) ] × ∏ j = 1 K P ( Y = c j ) I { Y = c j }    \Rightarrow\log\prod_{i=1}^N\;\;\begin{bmatrix}\prod_{h=1}^nP(W_j^i=\omega_j^i\;\vert Y=c_j)\end{bmatrix}\times\prod_{j=1}^KP{(Y=c_j)}^{I\{Y=c_j\}}\; ⇒logi=1∏N​[∏h=1n​P(Wji​=ωji​∣Y=cj​)​]×j=1∏K​P(Y=cj​)I{Y=cj​}
将参数带入：
⇒ log ⁡ ∏ i = 1 N    [    [ ∏ h = 1 n ∏ t = 1 S h θ h t I { ω j = S h t , Y = c j } ] × ∏ j = 1 K π j I { Y = c j } ] \Rightarrow\log\prod_{i=1}^N\;\left[\;\begin{bmatrix}\prod_{h=1}^n\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{bmatrix}\times\prod_{j=1}^K\pi_j^{I\{Y=c_j\}}\right] ⇒logi=1∏N​[[∏h=1n​∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​]×j=1∏K​πjI{Y=cj​}​]
⇒ ∑ i = 1 N    [ log ⁡    [ ∏ h = 1 n ∏ t = 1 S h θ h t I { ω j = S h t , Y = c j } ] + log ⁡ ∏ j = 1 K π j I { Y = c j } ] \Rightarrow\sum_{i=1}^N\;\left[\log\;\begin{bmatrix}\prod_{h=1}^n\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{bmatrix}+\log\prod_{j=1}^K\pi_j^{I\{Y=c_j\}}\right] ⇒i=1∑N​[log[∏h=1n​∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​]+logj=1∏K​πjI{Y=cj​}​]
⇒ ∑ i = 1 N    [    ∑ h = 1 n log ⁡ ∏ t = 1 S h θ h t I { ω j = S h t , Y = c j } + ∑ j = 1 K log ⁡ π j I { Y = c j } ] \Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\log\prod_{t=1}^{S_h}\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{array}+\sum_{j=1}^K{\log\pi_j}^{I\{Y=c_j\}}\right] ⇒i=1∑N​[∑h=1n​log∏t=1Sh​​θhtI{ωj​=Sht​,Y=cj​}​​+j=1∑K​logπj​I{Y=cj​}]
⇒ ∑ i = 1 N    [    ∑ h = 1 n ∑ t = 1 S h log ⁡ θ h t I { ω j = S h t , Y = c j } + ∑ j = 1 K log ⁡ π j I { Y = c j } ] \Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\sum_{t=1}^{S_h}\log\theta_{ht}^{I\{\omega_j=S_{ht},Y=c_j\}}\end{array}+\sum_{j=1}^K{\log\pi_j}^{I\{Y=c_j\}}\right] ⇒i=1∑N​[∑h=1n​∑t=1Sh​​logθhtI{ωj​=Sht​,Y=cj​}​​+j=1∑K​logπj​I{Y=cj​}]
利用对数性质
⇒ ∑ i = 1 N    [    ∑ h = 1 n ∑ t = 1 S h I { ω j = S h t , Y = c j } × log ⁡ θ h t + ∑ j = 1 K I { Y = c j } × log ⁡ π j ] \Rightarrow\sum_{i=1}^N\;\left[\;\begin{array}{c}\sum_{h=1}^n\sum_{t=1}^{S_h}I\{\omega_j=S_{ht},Y=c_j\}\times\log\theta_{ht}^{}\end{array}+\sum_{j=1}^KI\{Y=c_j\}\times{\log\pi_j}\right] ⇒i=1∑N​[∑h=1n​∑t=1Sh​​I{ωj​=Sht​,Y=cj​}×logθht​​+j=1∑K​I{Y=cj​}×logπj​]
到这一步，最大似然函数已经化简到一个很好的状态了。
现在附上我们的约束项
$$\{\begin{array}{l}{\sum }_{j=1}^K{\pi }_j=1\\ \\ \\ {\sum }_{t=1}^S{\theta }_{ht}=1\end{array}$$
带有约束项的极值求解可以通过拉格朗日乘数法方便求解
$$L({\theta }_{ht},{\pi }_j)=l({\theta }_{ht},{\pi }_j)+\alpha \left(1-\sum _{j=1}^K{\pi }_j\right)+\sum _{h=1}^n\beta (1-\stackrel{S_h}{\underset{t=1}{\sum {\theta }_{ht}}})$$
现在对两个参数求导 并置为0

对于$p{i}_j$:

∂ L ( θ h t , π j ) ∂ π j = ∂ [ ∑ i = 1 N ∑ j = 1 K I { Y = c j ​ } log ⁡ π j + α ( 1 − ∑ j = 1 K π j ) ] ∂ π j = 0 \\\frac{\partial L(\theta_{ht},\pi_j)}{\partial\pi_j}=\frac{\partial\begin{bmatrix}{\displaystyle\sum_{i=1}^N}{\displaystyle\sum_{j=1}^K}I\{Y=c_j​\}\log\pi_j+\alpha\left(1-\sum_{j=1}^K\pi_j\right)\end{bmatrix}}{\partial\pi_j}=0 ∂πj​∂L(θht​,πj​)​=∂πj​∂[i=1∑N​j=1∑K​I{Y=cj​​}logπj​+α(1−∑j=1K​πj​)​]​=0
⇒ ∑ j = 1 K [ ∑ i = 1 N I { Y = c j ​ } π j − α ] = 0 \Rightarrow\sum_{j=1}^K\left[\sum_{i=1}^N\frac{I\{Y=c_j​\}}{\pi_j}-\alpha\right]=0 ⇒j=1∑K​[i=1∑N​πj​I{Y=cj​​}​−α]=0
⇒ ∑ i = 1 N I { Y = c j ​ } π j − α = 0 \Rightarrow\sum_{i=1}^N\frac{I\{Y=c_j​\}}{\pi_j}-\alpha=0 ⇒i=1∑N​πj​I{Y=cj​​}​−α=0

对于${\theta }_{ht}$:
⇒ ∂ [ ∑ i = 1 N ​ ∑ h = 1 n ∑ t = 1 S h ​ I { ω i j = S h t ​ , Y = c j } ​ × l o g θ h t + ∑ h = 1 n β h ( 1 − ∑ θ h t t = 1 S h ) ​ ​ ] ∂ θ h t = 0 \Rightarrow\frac{\partial\left[{\displaystyle\sum_{i=1}^N}​{\displaystyle\sum_{h=1}^n}{\displaystyle\sum_{t=1}^{S_h}}​I\{{\omega^i}_j=S_{ht}​,Y=cj\}​\times log\theta_{ht}+\sum_{h=1}^n\beta_h(1-\overset{S_h}{\underset{t=1}{\sum\theta_{ht}}})​​\right]}{\partial\theta_{ht}}=0 ⇒∂θht​∂[i=1∑N​​h=1∑n​t=1∑Sh​​​I{ωij​=Sht​​,Y=cj}​×logθht​+∑h=1n​βh​(1−t=1∑θht​​Sh​​)​​]​=0
∂ θ h t = 0 ⇒ ∑ h = 1 n ∑ t = 1 S h [ ∑ i = 1 N I { ω i j = S h t ​ , Y = c j } θ h t − β h ​ ] = 0 {\partial\theta_{ht}}=0\\\Rightarrow\sum_{h=1}^n\sum_{t=1}^{S_h}\left[\sum_{i=1}^N\frac{I\{{\omega^i}_j=S_{ht}​,Y=cj\}}{\theta_{ht}}-\beta_h​\right]=0 ∂θht​=0⇒h=1∑n​t=1∑Sh​​[i=1∑N​θht​I{ωij​=Sht​​,Y=cj}​−βh​​]=0
∂ θ h t = 0 ⇒ ∑ i = 1 N I { ω i j = S h t ​ , Y = c j } θ h t − β h ​ = 0 {\partial\theta_{ht}}=0\\\Rightarrow\sum_{i=1}^N\frac{I\{{\omega^i}_j=S_{ht}​,Y=cj\}}{\theta_{ht}}-\beta_h​=0 ∂θht​=0⇒i=1∑N​θht​I{ωij​=Sht​​,Y=cj}​−βh​​=0
综上：
⇒ { π j = ∑ i = 1 N I { Y = c j } α θ h t = ∑ i = 1 N I { ω j i = S h t , Y = c j } β h \Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}}\alpha\\\\\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\beta_h}\end{array}\right. ⇒⎩⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎧​πj​=α∑i=1N​I{Y=cj​}​θht​=βh​i=1∑N​I{ωji​=Sht​,Y=cj​}​​
现在联立约束项和偏微分结果

⇒ { α = ∑ i = 1 N I { Y = c j } π j = ∑ j = 1 K ∑ i = 1 N I { Y = c j } ∑ j = 1 K π j = ∑ j = 1 K ∑ i = 1 N I { Y = c j } β h = ∑ i = 1 N I { ω j i = S h t , Y = c j } θ h t = ∑ t = 1 S j ∑ i = 1 N I { ω j i = S h t , Y = c j } ∑ t = 1 S j θ h t = ∑ t = 1 S j ∑ i = 1 N I { ω j i = S h t , Y = c j } \Rightarrow\left\{\begin{array}{l}\alpha=\frac{\sum_{i=1}^NI\{Y=c_j\}}{\pi_j}=\frac{{\displaystyle\sum_{j=1}^K}\sum_{i=1}^NI\{Y=c_j\}}{\sum_{j=1}^K\pi_j}=\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}\\\beta_h=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\theta_{ht}}=\frac{\displaystyle\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}}{\sum_{t=1}^{S_j}\theta_{ht}}=\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}\end{array}\right. ⇒⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​α=πj​∑i=1N​I{Y=cj​}​=∑j=1K​πj​j=1∑K​∑i=1N​I{Y=cj​}​=∑j=1K​∑i=1N​I{Y=cj​}βh​=θht​i=1∑N​I{ωji​=Sht​,Y=cj​}​=∑t=1Sj​​θht​t=1∑Sj​​i=1∑N​I{ωji​=Sht​,Y=cj​}​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}​
⇒ { π j = ∑ i = 1 N I { Y = c j } ∑ j = 1 K ∑ i = 1 N I { Y = c j } = N j N = N c j 类 型 的 文 章 数 N 样 本 总 数 θ h t = ∑ i = 1 N I { ω j i = S h t , Y = c j } ∑ t = 1 S j ∑ i = 1 N I { ω j i = S h t , Y = c j } = N 第 c j 类 单 词 ω j 出 现 的 个 数 N 第 c j 类 单 词 所 有 单 词 出 现 的 个 数 \Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}}{\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}}=\frac{N_j}N=\frac{N_{c_j\mathrm{类型的文章数}}}{N_{\mathrm{样本总数}}}\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}}{\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}}=\frac{N_{第c_j\mathrm{类单词}\omega_j\mathrm{出现的个数}}}{N_{第c_j\mathrm{类单词所有单词出现的个数}}}\end{array}\right. ⇒⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​πj​=∑j=1K​∑i=1N​I{Y=cj​}∑i=1N​I{Y=cj​}​=NNj​​=N样本总数​Ncj​类型的文章数​​θht​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}i=1∑N​I{ωji​=Sht​,Y=cj​}​=N第cj​类单词所有单词出现的个数​N第cj​类单词ωj​出现的个数​​​

（四）拉普拉斯平滑

为了避免乘0 或除0的情况，
⇒ { π j = ∑ i = 1 N I { Y = c j } + 1 ∑ j = 1 K ∑ i = 1 N I { Y = c j } + K θ h t = ∑ i = 1 N I { ω j i = S h t , Y = c j } + 1 ∑ t = 1 S j ∑ i = 1 N I { ω j i = S h t , Y = c j } + S j \Rightarrow\left\{\begin{array}{l}\pi_j=\frac{\sum_{i=1}^NI\{Y=c_j\}+1}{\sum_{j=1}^K\sum_{i=1}^NI\{Y=c_j\}+K}\\\theta_{ht}=\frac{{\displaystyle\sum_{i=1}^N}I\{\omega_j^i=S_{ht},Y=c_j\}+1}{\sum_{t=1}^{S_j}\sum_{i=1}^NI\{\omega_j^i=S_{ht},Y=c_j\}+S_j}\end{array}\right. ⇒⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​πj​=∑j=1K​∑i=1N​I{Y=cj​}+K∑i=1N​I{Y=cj​}+1​θht​=∑t=1Sj​​∑i=1N​I{ωji​=Sht​,Y=cj​}+Sj​i=1∑N​I{ωji​=Sht​,Y=cj​}+1​​

总结：由此，我们得到了很好的估计参数${\theta }_{ht}$ 和 ${\pi }_j$ 可以把他们带入后验的概率表达式中，输入一个未知样本X,最后得到类别可能性最大的那个类别，即为最终输出。