《统计学习方法》第1章 课后题答案

1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解：
三要素分别是模型、策略、算法。

模型：伯努利模型，即定义在取值为0与1的随机变量上的概率分布。

策略：极大似然估计和贝叶斯估计的策略都是对数损失函数，只不过贝叶斯估计使用的是结构风险最小化。

算法：极大似然估计所使用的算法是求取经验风险函数的极小值，贝叶斯估计所使用的算法是求取参数的后验分布，然后计算其期望。

定义$A$为取值为0或1的随机变量，并设$A=1$的概率是$\theta$，即:
$$P(A=1)=\theta ,P(A=0)=1-\theta$$

独立抽取$n$个同分布的随机变量$A_1,A_2,\dots ,A_n$。使用极大似然估计即求取以下经验风险函数的极值点：
$$L(P)=-\sum _{i=1}^n\text{log}P(A_i)=-k\text{log}\theta -(n-k)\text{log}(1-\theta )$$
即求 θ ′ \theta' θ