李航统计学习方法第一章习题参考答案

最新推荐文章于 2021-12-14 16:16:49 发布

Jeremy Liang

最新推荐文章于 2021-12-14 16:16:49 发布

阅读量1.1k

点赞数 5

分类专栏：读书笔记文章标签：统计学习方法

本文链接：https://blog.csdn.net/qq_35654046/article/details/88055711

版权

读书笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

1.1 说明伯努利模型的极大似然估计以及被压死估计中的统计学习方法三要素。

统计学习三要素：模型、策略和算法。

伯努利模型的极大似然估计

	模型	策略	算法
极大似然估计	条件概率	经验风险最小化	求解析解
贝叶斯估计	条件概率	结构风险最小化	求数值解

伯努利模型是定义在取值为0和1的随机变量上的概率分布。

$\begin{aligned}& P(Y=1) = \Theta \\ &P(Y=0) = 1-\Theta \end{aligned}$

极大似然估计：

似然函数的对数：

$\begin{aligned}log(L(\Theta ))&=log( \prod_{i=1}^{ N}P(Yi)) \\&=log( \Theta^{k}(1-\Theta )^{n-k} )\\&=klog(\Theta )+(n-k)log(1-\Theta ) \end{aligned}$

其中，n为实验次数，k为n次实验中结果为1的次数，Yi表示第i次实验的结果。

令对数似然的导数为0可以直接求出解析解：

$\Theta =\frac{k}{n}$

贝叶斯估计：

$P(\Theta |Y1,Y2,...,Yn) = \frac{P(Y1,Y2,...,Yn|\Theta )*P(\Theta)}{P(Y1,Y2,..,Yn)}$

根据先验概率 $P(\Theta )$ 和 $P(Y1,Y2,...,Yn)$ 估计后验概率，使后验概率最大化。

所以贝叶斯估计得到的概率取决于所选择的先验分布。

PS:对于伯努利模型，可以使用beta分布作为贝叶斯估计的先验概率。

1.2 证明：模型是条件概率分布，当损失函数是对数损失时，经验风险最小化等价于极大似然估计。

首先需要理解几个概念，条件概率分布，对数损失，经验风险和极大似然估计。

模型是条件概率分布，说明预测值：

$f(X)=P(Y|X)=\frac{P(X,Y)}{P(X)}$

对数损失的定义为：

$L(Y,P(Y|X))=-\log P(Y|X)$

此时，经验风险R为：

$\begin{aligned} R&=\frac{1}{N}* \sum_{i=1}^{N}L(Yi,f(Xi)) \\ &=\frac{1}{N}*\sum_{i=1}^{N}L(Yi,P(Yi|Xi)) \\&= \frac{1}{N}*\sum_{i=1}^{N}L(-log(P(Yi|Xi))) \\& = - \frac{1}{N}*log(\prod _{i=1}^{N}\frac{P(Xi,Yi)}{P(Xi)}) \end{aligned}$

所以，最小化经验风险R，相当于最大化似然估计

$log(\prod _{i=1}^{N}\frac{P(Xi,Yi)}{P(Xi)})$

Jeremy Liang

关注

5
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
李航统计学习方法第一章习题参考答案

1.1 说明伯努利模型的极大似然估计以及被压死估计中的统计学习方法三要素。统计学习三要素：模型、策略和算法。伯努利模型的极大似然估计模型策略算法极大似然估计条件概率经验风险最小化求解析解贝叶斯估计条件概率结构风险最小化求数值解伯努利模型是定义在取值为0和1的随机变量上的概率分布。极大似...
复制链接

扫一扫