习题2-6和习题2-7

2-6 问题

假设有N个样本$x^{(1)},x^{(2)}\cdot \cdot \cdot \cdot \cdot x^{(N)}$服从正态分布$N(\mu ,{\sigma }^2)$,其中$\mu$未知，

（1）使用最大似然估计来求解最优参数${\mu }^{ML}$
(2)若参数$\mu$为随机变量，并服从正态分布$N({\mu }_0,{\sigma }_0^2)$,使用最大后验估计来计算求解最优参数${\mu }^{MAP}$。

解析

（1）$x$服从均值为$\mu$,方差为${\sigma }^2$的高斯分布：$p\left(x;\mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right)}$，参数$\mu$在样本$X$上的似然函数为$$p\left(x|\mu ,{\sigma }^2\right)=\prod _{n=1}^{N}p\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)=\prod _{n=1}^{N}N\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)$$
为了方便计算，随似然函数取对数得到对数似然函数$$\log p\left(x|\mu ,{\sigma }^2\right)=\log \prod _{n=1}^{N}p\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)=\sum _{n=1}^N\log N\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)$$
$$=\log \frac{e}{\sqrt{2\pi }\sigma }\sum _{n=1}^N-\frac{{\left(x^{\left(n\right)}-\mu \right)}^2}{2{\sigma }^2}$$
上式函数对$\mu$求导并令其为零得到下结果：

$$\sum _{n=1}^N-\frac{x^{\left(n\right)}-\mu }{{\sigma }^2}=0$$
我们要想找到的是一组$\mu$使得似然函数最大，等价于对数似然函数最大。上式求解得到如下结果：$$\mu =\frac{1}{N}\sum _{n=1}^N{x}^{\left(n\right)}$$
上述的$\mu$为样本均值。
（2）根据题目知参数$\mu$服从正态分布$N\left({\mu }_0,{\sigma }_0^2\right)$
参数$\mu$的后验分布(Posterior Distribution)为$$p\left(\mu |x;{\mu }_0,{\sigma }_0^2\right)=\frac{p\left(\mu ,x;{\mu }_0,{\sigma }_0^2\right)}{\sum {}_{\mu }p\left(\mu ,x;{\mu }_0,{\sigma }_0^2\right)}$$
$$\propto p\left(x|\mu ;{\sigma }^2\right)p\left(\mu ;{\mu }_0,{\sigma }_0^2\right)$$
令似然函数$p\left(x|\mu ;{\sigma }^2\right)$为高斯密度函数，对后验分布取对数得：$$\propto \log p\left(x|\mu ;{\sigma }^2\right)+\log p\left(\mu ;{\mu }_0,{\sigma }_0^2\right)$$
$$\propto -\frac{1}{2{\sigma }^2}\sum _{n=1}^N{\left(x^{\left(n\right)}-\mu \right)}^2-\frac{1}{2{\sigma }_0^2}{\left(\mu -{\mu }_0\right)}^2$$
对上式对$\mu$求偏导并令其为零得：$$\mu =\frac{\frac{1}{{\sigma }^2}{\sum }_{n=1}^N{x}^{\left(n\right)}+\frac{{\mu }_0}{{\sigma }_0^2}}{\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}}$$

2-7 问题

在习题2-6中，证明当$N\to \infty$时，最大后验估计趋向于最大似然估计。

解析

这道题目初看到的时候是真的没有解题的思路，这里我们从2-6推导出来的结果来入手看一看能否找到它们之间的关系。

$${\mu }^{MAP}=\frac{\frac{1}{{\sigma }^2}{\sum }_{n=1}^N{x}^{\left(n\right)}+\frac{{\mu }_0}{{\sigma }_0^2}}{\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}}$$
$${\mu }^{MLE}=\frac{1}{N}\sum _{n=1}^N{x}^{\left(n\right)}$$
这里对${\mu }^{MLE}$的式子进行化简得到如下：
$${\mu }^{MAP}=\frac{{\sigma }_0^2{\sum }_{n=1}^N{x}^{\left(n\right)}+\left({\sigma }^2{\mu }_0\right)}{{\sigma }_0^{2}N+{\sigma }^2}$$
当$N\to \infty$时${\sigma }^2$,$\mu$,${\sigma }_0^2$,${\mu }_0$相对于$N$来讲显得有点微不足道了。所以上式我们可以近似化成如下式：
$${\mu }^{MAP}\approx \frac{{\sigma }_0^2{\sum }_{n=1}^N{x}^{\left(n\right)}}{{\sigma }_0^{2}N}=\frac{{\sum }_{n=1}^N{x}^{\left(n\right)}}{N}$$
即为最大似然估计的结果。
这里也就验证了在数据样本过大的时候，先验概率的参数对模型估计的参数影响忽略不计。