证明模型是条件概率分布,当损失函数是对数损失时,经验风险最小化等价于极大似然估计。

————————————————

版权声明:本文为CSDN博主「fxnfk」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/familyshizhouna/article/details/70160782

————————————————

李航 《统计学习方法》 第一章 习题

2. 通过经验风险最小化推导极大似然估计。模型是条件概率分布,当损失函数是对数损失时,经验风险最小化等价于极大似然估计。

证明:

模型是条件概率分布:

P_\theta(Y|X, \Theta)
损失函数是对数损失函数:

 L(Y,P(Y|X, \Theta))=-logP(Y|X, \Theta)
经验风险为: 
\begin{align*} R_{emp}(f)&=\frac{1}{N}\sum_{i=1}^{N}L(y_i,f_\Theta(x_i)) \\ &=\frac{1}{N}\sum_{i=1}^{N}-logP(y_i|x_i,\Theta) \\ &=-\frac{1}{N}\sum_{i=1}^{N}logP(y_i|x_i,\Theta) \end{align*}

最小化经验风险,等价于最大化

\sum_{i=1}^{N}logP(y_i|x_i, \Theta)

等价于最大化

\prod_{i=1}^{N}P(y_i|x_i, \Theta)

这个就是极大似然估计。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值