probability and statistics(7) 参数估计

参数估计

参数估计（parameter estimation): 根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看，区分为点估计与区间估计

点估计： 借助于总体中抽取的一个样本来估计总体的未知参数的值的问题称为参数的点估计问题

构建点估计常用方法：

1.矩估计法： 用样本矩估计总体矩，从而得到总体分布中参数的一种估计。它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩。矩估计法的优点是简单易行, 并不需要事先知道总体是什么分布。缺点是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下，矩估计量不具有唯一性。

设X是一维随机变量，若$E(X^k)$存在，则称他为X的k阶原点矩，简称k阶矩，
我们称$A_k=\frac{1}{n}{\sum }_{i=1}^n{x}_i^k$为样本k阶矩，样本k阶矩${\mu }_k=A_k$是总体k阶矩$E(X^k)$的无偏估计

然后我们就利用这个思路进行矩估计
1.假设我们有k个要估计的参数，我们可以求样本的1阶矩、2阶矩、3阶矩……、k阶矩
2.再写入总体1阶矩、2阶矩、3阶矩……、k阶矩的公式，因为他们是无偏估计，我们就可以得到k个方程，利用这k个方程求这k个要估计的参数

例题：

2.极大似然估计(MLE)
极大似然估计是频率派思想，对于一个已知的概率密度函数，根据样本数据，会有一组参数，使得这个参数带入概率密度函数后，这批样本出现概率最大，这个参数就是我们要估计的参数

先设密度函数为$f(x|\theta )，\theta 就是我们要求的参数$，对于一组相互独立样本数据X1,X2,X3……，Xn，我们可以得到这批独立样本出现的概率：$$L(\theta )=f(X1,X2,X3\dots \dots ，Xn|\theta )=\prod _{i=1}^{n}f(Xi|\theta )$$

我们要求的就是
$$\underset{\theta }{\mathrm{argmax}}L(\theta )$$

这个方程的解法为：
首先把$L(\theta )$转化为$ln(L(\theta ))$,因为他们两个在同一点取得最大值
转换之后公式就变为求$$\underset{\theta }{\mathrm{argmax}}ln(L(\theta ))=\sum _{i=1}^{n}f(X_i|\theta )$$

然后我们对每个参数${\theta }_j$求导,并令导数为0 $$\frac{\partial ln(L(\theta ))}{\partial {\theta }_j}=0，j=0，1，2，\dots \dots$$，求得参数$\theta$

$$\theta =({\theta }_1,{\theta }_2,{\theta }_3,\dots \dots )$$

3.最大后验概率分布（MAP）
最大似然估计认为使似然函数$P(X|\theta )$最大的$\theta$就是最好的参数，最大似然估计把参数看为一个固定值。而MAP则是认为$\theta$是一个随机变量，也就是说$\theta$是一种概率分布，并且给定一个初始的概率分布，这个初始的概率分布称为先验分布

我们根据贝叶斯公式，由给定的样本X(X1,X2,X3,……，Xn)，确定$\theta$, $$p(\theta |X)=\frac{p(X|\theta )p(\theta )}{p(X)}$$
其中$p(\theta )$为先验概率，$p(X|\theta )$为似然函数,这里的X其实就是一个定值，和$\theta$没关系，这里我们要最大化的函数是$p(\theta |X)$,他是$\theta$的后验概率

$$p(\theta |X)=\frac{p(X|\theta )p(\theta )}{p(X)}\propto p(X|\theta )p(\theta )$$

我们要求的就是$$\underset{\theta }{\mathrm{argmax}}ln(p(\theta |X))=\underset{\theta }{\mathrm{argmax}}ln(p(X|\theta )p(\theta ))=\underset{\theta }{\mathrm{argmax}}(ln(p(X|\theta ))+ln(p(\theta )))$$

如果将机器学习结构风险中的正则化项对应为上式的 $ln(p(\theta ))$，那么带有正则化项的最大似然学习就可以被解释为MAP。当然，这并不是总是正确的，例如，有些正则化项可能不是一个概率分布的对数，还有些正则化项依赖于数据，当然也不会是一个先验概率分布。不过，MAP提供了一个直观的方法来设计复杂但可解释的正则化项，例如，更复杂的惩罚项可以通过混合高斯分布作为先验得到，而不是一个单独的高斯分布。