统计学习方法 第一章习题

习题
1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0或1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。
答：
（1） 伯努利模型的极大似然估计以及贝叶斯估计的三要素:

估计	模型	策略	算法
极大然估计	条件概率 P(Y|X)	经验风险Remp(f)	对经验风险最小化（求导 = 0）
贝叶斯估计	条件概率P(Y|X)	结构风险Rsrm(f)	对结构风险最小化（求导 = 0）

（2）伯努利模型：

定义随机变量Y为一次实验结果。Y = {0,1}，概率分布为P(Y)

P(Y=1) = θ
P(Y=0) = 1-θ

极大似然估计：
step1: 求出似然函数L(θ)
$$L(\theta )=\prod _{i=1}^{n}P(Y_i)$$
n:实验次数
step2: 对数似然函数
$$\begin{gathered} log(L(\theta ))=log\prod _{i=1}^{n}P(Y_i)=log({\theta }^k(1-\theta {)}^{(n-k)}) \\ =klog\theta +(n-k)log(1-\theta ) \end{gathered}$$
step3: 对似然函数极大化,求出极大值点θ^*
$$\begin{gathered} {\nabla }_{\theta }log(L(\theta ))=\frac{k}{\theta }+\frac{n-k}{1-\theta }=0 \\ {\theta }^{\ast }=\frac{k}{n} \end{gathered}$$
结果为1的概率为${\theta }^{\ast }=\frac{k}{n}$
贝叶斯估计：
贝叶斯估计中参数θ服从分布，P(θ)为先验概率分布。
设P(θ)为β（Beta Distribution) 分布.
$$P(\theta )=\frac{{\theta }^{a-1}(1-\theta {)}^{b-1}}{常数}$$
$$P(\theta |Y_1,Y_2,..,Y_n)=\frac{P(Y_1,Y_2,...,Y_n|\theta )P(\theta )}{P(Y_1,Y_2,...,Y_n)}$$
上述公式中分母与θ无关，
$$\begin{gathered} P(\theta |Y_1,Y_2,..,Y_n)\propto P(Y_1,Y_2,...,Y_n|\theta )P(\theta )=\prod _{i=1}^{n}P(Y_i|\theta )P(\theta ) \\ ={\theta }^k(1-\theta {)}^{n-k}{\theta }^{a-1}(1-\theta {)}^{b-1} \\ ={\theta }^{k+a-1}(1-\theta {)}^{n-k+b-1} \end{gathered}$$
对上述结果最大化（求导为0）
$$\theta =\frac{k+a-1}{n+(a-1)+(b-1)}$$
1.2 通过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
答：
经验风险：
$$R_{emp}(f)=\frac{1}{N}\sum _i^{N}L(y_i,f(x_i))$$
对其进行最小化：
$$\underset{f属于F}{\min }{R}_{emp}$$
F是假设空间。
条件概率分布:$f(x)=P(Y|X)$
损失函数为对数损失：$L(Y,P(Y|X))=-log(P(Y|X))$
$$\begin{gathered} R_{emp}=\frac{1}{N}\sum _{i=1}^N-\log P(Y_i|X_i) \\ =-\frac{1}{N}\log \prod _{i=1}^{N}P(Y_i|X_i) \end{gathered}$$
通过上个式子可以看出最小化经验损失等价于极大似然估计(前面有符号)

1.3 通过结构风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时、模型的复杂度由模型的先验概率表示时，结构风险最小化等价于极大似然估计。
答：
结构风险最小化是为了防止过拟合而提出的策略。等价于正则化。
$$R_{srm}=\frac{1}{N}\sum _i^{N}L(y_i,f(x_i))+\lambda J(f)$$
J(f)表示模型的复杂度。λ≥0为系数，用来权衡模型的拟合程度与复杂度。
对其进行最小化：
$$\underset{f属于F}{\min }{R}_{srm}$$
F是假设空间。
条件概率分布:$f(x)=P(Y|X)$
损失函数为对数损失：$L(Y,P(Y|X))=-log(P(Y|X,\theta ))$
设模型参数为θ,且θ服从先验分布（贝叶斯）。概率分布为P(θ)。
$$\begin{gathered} R_{srm}=\frac{1}{N}\sum _i^{N}L(y_i,f(x_i,\theta ))+\lambda J(f) \\ =-\frac{1}{N}\log (\prod _{i=1}^{N}P(Y_i|X_i,\theta )-Nlog(exp(\lambda J(f)))) \\ =-\frac{1}{N}\log \prod _{i=1}^{N}P(Y_i|X_i,\theta )exp(-\lambda J(f){)}^N) \end{gathered}$$
由于${\prod }_{i=1}^{N}P(Y_i|X_i,\theta )=P(Y|X,\theta )$
$$\begin{gathered} R_{srm}\propto P(Y|X,\theta )exp(-\lambda J(f){)}^N \\ \propto P(Y|X,\theta )P(\theta ) \\ \propto \frac{P(Y|X,\theta )P(\theta )}{P(Y_1,Y_2,...,Y_n)} \\ \propto \frac{P(Y|\theta )P(\theta )}{P(Y_1,Y_2,...,Y_n)} \end{gathered}$$
模型的复杂度由模型的先验概率表示
$P(\theta )=\exp (-\lambda J(f){)}^N$
从式子可以看出，结构风险最小化等价于极大似然估计。
当先验概率比较小时，模型复杂度比较大。

1. λ较大时，模型倾向于选择模型较简单(J(f)较小)的模型，拟合效果较差（经验损失比较大）。
2. λ较小时，模型倾向于选择模型较复杂(J(f)较大)的模型。拟合效果较好（经验损失比较小）。
3. 结构风险需要经验风险以及模型复杂度同时小。
4. 结构风险小的模型旺旺对训练数据以及未知的测试数据都有比较好的预测。

参考了这个博客的解答过程，