对朴素贝叶斯法后验概率最大化含义的一些思考

看李航的《统计学习方法》朴素贝叶斯章节中4.1.2后验概率对大化的含义时,对这里的理解有些困扰,参考另一篇博客在这里写下自己对这一个问题的个人见解,烦请指正。

                                           

如上图所示,书中从期望风险函数直接跳到条件取值期望,这里的推导过程如下:

R_{exp}(f)=E[L(Y,f(X))]=\int_{\chi \times y}^{ }{L(y,f(x))P(x,y)dxdy}= \int_{\chi \times y}^{ }{L(y,f(x))P(y|x)P(x)dxdy} =\int_{x}^{ }\int_{y}^{ }{L(y,f(x))P(y|x)P(x)dxdy}= \int_{x}^{ }(\int_{y}^{ }{L(y,f(x))P(y|x)dy})P(x)dx

在这里,设:

H(x)=\int_{y}^{ }{L(y,f(x))P(y|x)dy

那么上式可以改为:

R_{exp}(f)=E[L(Y,f(X))]=\int_{x}^{ }H(x)P(x)dx

对于上式的期望风险求最小化,可以发现这是一个积分,积分中的H(x)中的各项以及P(x)都大于0,所以积分过程中不存在积分域内的两块积分相减的情况,因此求最小值就是求H(x)P(x)的最小值。对于任意的一个xP(X=x)为常数,那么最小值一定是在H(x)取最小值的时候取到。因此对期望风险函数的求解可以转为所谓的求条件期望的最小值:

H(x)=\int_{y}^{ }{L(y,f(x))P(y|x)dy

对于离散型随机变量,H(x)可以变换为:

H(x)=\sum_{k=1}^{K}L(C_{k},f(x))P(C_{k}|x)

(这是我对这里的理解,书写方式和书中不一致,不知是否有错误,烦请指正)

在书中还有一句就是对X=x逐个极小化,还是由于L(C_{k},f(x))P(C_{k}|x)都是大于0的,那么要求H(x)的最小化就要使其中的每一项取最小值。

随后的化简过程就比较简单了,这里不再赘述。

参考博客:

https://blog.csdn.net/rea_utopia/article/details/78881415

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值