统计学习第二版第四章习题

最新推荐文章于 2022-03-26 21:25:15 发布

nkenen

最新推荐文章于 2022-03-26 21:25:15 发布

阅读量469

点赞数

分类专栏：自然语言处理文章标签：统计学

本文链接：https://blog.csdn.net/qq_26954059/article/details/105293240

版权

自然语言处理专栏收录该内容

16 篇文章 10 订阅

订阅专栏

4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式

先验依照之前的极大似然步骤：

（1）写出似然函数；

$L(\Theta )= \Theta ^{\sum_{i=1}^{N}I(yi = c_{k})}(1-\Theta)^{\sum_{i=1}^{N}I(yi \neq c_{k})}$

（2）对似然函数取对数，用ln求导简单，并整理；

$L(\Theta )= {\sum_{i=1}^{N}I(yi = c_{k})}ln\Theta+{\sum_{i=1}^{N}I(yi \neq c_{k})}ln(1-\Theta)$

（3）求导数，让其等于0；

$0=\frac{{\sum_{i=1}^{N}I(yi = c_{k})}}{\Theta}-\frac{{\sum_{i=1}^{N}I(yi \neq c_{k})}}{(1-\Theta)}$

$\frac{1-\Theta}{\Theta}=\frac{{\sum_{i=1}^{N}I(yi \neq c_{k})}}{{\sum_{i=1}^{N}I(yi = c_{k})}}$

（4）解似然方程。

$\Theta=\frac{{\sum_{i=1}^{N}I(yi=c_{k})}}{N}$

条件概率p(x|y)：

（1）写出似然函数，有书本得；

$L(\Theta )= \Theta ^{\sum_{i=1}^{N}I(x_{i}^{(j)}=ail,yi = c_{k})}(1-\Theta)^{\sum_{i=1}^{N}I(x_{i}^{(j)} \neq ail,yi = c_{k})}$

和上面同样的步骤解码！！！

4.2 用贝叶斯估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式

首先我们得了解到θ服从当先验分布为Dirichlet分布（多元beta分布），即 $P(\Theta)=\frac{{\prod_{i=1}^{N}\Theta _{i}^{ai}}}{B}$ ,在对系统类别分布一无所知的情况下，可以假设类别是均匀分布的,则式子可写成 $P(\Theta)=\frac{{\prod_{i=1}^{K}\Theta _{k}^{\lambda}}}{B}$ ， $\Theta _{k} = P(Y=c_{k}),k=1.....k$ ,这时候我就可以知道所有事件发生的概率为：

$P(Y1,Y2....,\Theta )=\prod_{i=1}^{N}P(Y_{i})P(\Theta )$

这个概率先可以说是每个 $Y=c_{k},k=1.....k$ 在已知事件内发生次数+未发生事件（Dirichlet分布）

$=\prod_{k=1}^{K}\Theta _{k}^{\sum_{i=1}^{N}I(yi=c_{k})}\Theta _{k}^{\lambda}$ $=\prod_{k=1}^{K}\Theta _{k}^{\sum_{i=1}^{N}I(yi=c_{k})+\lambda}$

这时候已经是对这个式子进行ln求偏导：

$=\sum_{k=1}^{K}\frac{{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}}$ ，

在这需要理解下，这是并不能求导，只能直接找最大值，等于 $\frac{{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}}$ 最大值；

即 $\frac{{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}} = max(\frac{{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}})$

整理得 $\Theta _{k}= \frac{{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{({\sum_{i=1}^{N}I(yi=c_{k})+\lambda })_{max}}*(\Theta _{k})_{max}$ ，这时候将所有所有ck求和 ${\sum_{k=1}^{K}\Theta _{k} = 1$ ， $\sum_{k=1}^{K}\sum_{i=1}^{N}I(yi=c_{k}) = N$ ：

$1= \frac{{N+K\lambda }}{({\sum_{i=1}^{N}I(yi=c_{k})+\lambda })_{max}}*(\Theta _{k})_{max}$ ，整理得：

$\Theta _{k}= \frac{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }{N+K\lambda}$ 得证

有了这个式子，理解公式就不难了，

Sj是在Y=ck条件下出现x=ajl的总数

nkenen

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
统计学习第二版第四章习题

4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式先验依照之前的极大似然步骤：（1）写出似然函数；（2）对似然函数取对数，用ln求导简单，并整理；（3）求导数，让其等于0；（4）解似然方程。条件概率p(x|y)：（1）写出似然函数，有书本得；和上面同样的步骤解码！！！4.2用贝叶斯估计法...
复制链接

扫一扫