统计学习第二版 第四章习题

4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式

先验依照之前的极大似然步骤:

(1) 写出似然函数

L(\Theta )= \Theta ^{\sum_{i=1}^{N}I(yi = c_{k})}(1-\Theta)^{\sum_{i=1}^{N}I(yi \neq c_{k})}

(2) 对似然函数取对数,用ln求导简单,并整理;

L(\Theta )= {\sum_{i=1}^{N}I(yi = c_{k})}ln\Theta+{\sum_{i=1}^{N}I(yi \neq c_{k})}ln(1-\Theta)

(3) 求导数,让其等于0;

0=\frac{​{\sum_{i=1}^{N}I(yi = c_{k})}}{\Theta}-\frac{​{\sum_{i=1}^{N}I(yi \neq c_{k})}}{(1-\Theta)}

\frac{1-\Theta}{\Theta}=\frac{​{\sum_{i=1}^{N}I(yi \neq c_{k})}}{​{\sum_{i=1}^{N}I(yi = c_{k})}}

(4) 解似然方程 。

\Theta=\frac{​{\sum_{i=1}^{N}I(yi=c_{k})}}{N}

条件概率p(x|y):

(1) 写出似然函数,有书本得;

L(\Theta )= \Theta ^{\sum_{i=1}^{N}I(x_{i}^{(j)}=ail,yi = c_{k})}(1-\Theta)^{\sum_{i=1}^{N}I(x_{i}^{(j)} \neq ail,yi = c_{k})}

和上面同样的步骤解码!!!

 

4.2 用贝叶斯估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式

 

首先我们得了解到θ服从当先验分布为Dirichlet分布(多元beta分布),即P(\Theta)=\frac{​{\prod_{i=1}^{N}\Theta _{i}^{ai}}}{B},在对系统类别分布一无所知的情况下,可以假设类别是均匀分布的,则式子可写成P(\Theta)=\frac{​{\prod_{i=1}^{K}\Theta _{k}^{\lambda}}}{B}\Theta _{k} = P(Y=c_{k}),k=1.....k,这时候我就可以知道所有事件发生的概率为:

P(Y1,Y2....,\Theta )=\prod_{i=1}^{N}P(Y_{i})P(\Theta )

这个概率先可以说是每个Y=c_{k},k=1.....k在已知事件内发生次数+未发生事件(Dirichlet分布

=\prod_{k=1}^{K}\Theta _{k}^{\sum_{i=1}^{N}I(yi=c_{k})}\Theta _{k}^{\lambda}=\prod_{k=1}^{K}\Theta _{k}^{\sum_{i=1}^{N}I(yi=c_{k})+\lambda}

这时候已经是对这个式子进行ln求偏导:

=\sum_{k=1}^{K}\frac{​{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}}

在这需要理解下,这是并不能求导,只能直接找最大值,等于\frac{​{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}}最大值;

即                                       \frac{​{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}} = max(\frac{​{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{\Theta _{k}})

 

整理得\Theta _{k}= \frac{​{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }}{({\sum_{i=1}^{N}I(yi=c_{k})+\lambda })_{max}}*(\Theta _{k})_{max},这时候将所有所有ck求和{\sum_{k=1}^{K}\Theta _{k} = 1\sum_{k=1}^{K}\sum_{i=1}^{N}I(yi=c_{k}) = N

 

1= \frac{​{N+K\lambda }}{({\sum_{i=1}^{N}I(yi=c_{k})+\lambda })_{max}}*(\Theta _{k})_{max},整理得:

 

\Theta _{k}= \frac{\sum_{i=1}^{N}I(yi=c_{k})+\lambda }{N+K\lambda}得证

有了这个式子,理解公式就不难了,

Sj是在Y=ck条件下出现x=ajl的总数

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值