什么是参数估计

https://www.zhihu.com/column/c_1370754684689416192

什么是参数估计？

假定信号$\mu$（未知）是一个直流信号，在一定的噪声的条件下，得到的信号可以表示如下：
$$\begin{array}{c}x(t)=\mu +n(t)\end{array}$$
其中，$n(t)$为连续的高斯分布的噪声，均值和方差均已知， $n(t)～N(0,{\sigma }^2)$ 。

那么我们采集到的数据也服从高斯分布，有 $x(t)～N(\mu ,{\sigma }^2)$。

显然，我们是已知右边的情况下来得到左边的 $x(t)$ ，因此可以知道 $x(t)$应该是什么样子的。

但真实情况是，我们只能获取一系列的 $x(t)$ ，但并不能准确得知他的均值和方差（特征），那么我们需要通过数学的方法去估计数据的特征是什么，这个过程就叫做参数估计。

无偏估计

对于模型$x(t)=\mu +n(t)$而言

采集到的数据可以表示为$X={\left[x(t_1),x(t_2),\cdots ,x(t_n)\right]}^{\prime }$，对于采集到的数据，我们可以估计出均值
$$\begin{array}{c}\hat{\mu }=\frac{1}{N}\sum _{i=1}^{N}x(t_i)\end{array}$$
注意：这里的$\mu$写的是$\hat{\mu }$，表示的是一个估计量，也就是说使用一直系列的测量结果$x(t)$去估计原来的一个均值情况，所以估计均值$\mu$也是在做参数估计。

对于估计值$\hat{\mu }$，我们当然希望他们越接近$\mu$(常量)越好，因为采集到的不同的$X$，其均值和方差的估计值都会变化（估计值是随机变量），那怎么衡量呢？我们首先自然可以想到用数学期望来衡量：
$$\begin{array}{c}E(\hat{\mu })=\mu \end{array}$$
当估计值期望等于原始的均值时候，这时候的估计，我们称作无偏估计。

其次，我们也会考虑数据在均值附近的一个波动范围内，我们用MSE和方差作为代价函数(cost function)去衡量其准确性。

MSE（最小均方误差）的表达式：
$$\begin{array}{c}MSE=E((\hat{\mu }-\mu {)}^2)\end{array}$$
方差的表达式：
$$\begin{array}{c}Var(\hat{\mu })=E(\hat{\mu }-E(\hat{\mu }))\end{array}$$
可以发现，当$\hat{\mu }$是无偏估计的时候，MSE和方差其实是同样的形式，在这种情况下，两种方法的衡量结果是一样的的，其余时候均不一样。因此可以用不同的方式请评价估计值的好坏。

极大似然估计

同样的，对于模型$x(t)=\mu +n(t)$，其中$n(t)$服从$(0,{\sigma }^2)$的正态分布，其中方差${\sigma }^2$已知，我们需要估计均值。

采集到的数据可以表示为$X={\left[x(t_1),x(t_2),\cdots ,x(t_N)\right]}^{\prime }$

假定我们知道$\mu$的值，那么$x(t)\sim N(\mu ,{\sigma }^2)$，此时我们可以用正态分布的概率密度来表示$x$的可能取值：
$$\begin{array}{c}P(x|\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)\end{array}$$

那么，一系列的采集数据，我们可以用联合概率密度来表示：
$$\begin{array}{c}P(x(t_1),x(t_2),\cdots ,x(t_N)|\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{{\sum }_{i=1}^N(x(t_i)-\mu {)}^2}{2{\sigma }^2}\right)\end{array}$$
在正态分布中，由于$3\sigma$原则的存在，大部分点都在这个范围内（即这个范围内的概率密度函数的值更高）。

对于我们已经确定的样本点，$x(t_1)$到$x(t_N)$，它们大部分也应该在这个范围内。因此我们需要找到一个合适的$\mu$，使得样本点尽可能的都落在靠近$\mu$的地方，使得概率$P$最大。

也就是说，我们可以用通过$P(x(t_1),x(t_2),\cdots ,x(t_N)|\mu )$最大来找到这个合适的$\mu$，这就是最大似然估计的含义。

接下来是一个简单的推导过程：

对于联合概率密度函数，为了消除e的指数，我们可以使用对数
$$\ln (P(x(t_1),\cdots ,x(t_N)|\mu ))=-\ln (\sqrt{2\pi {\sigma }^2})-\frac{{\sum }_{i=1}^N(x(t_i)-\mu {)}^2}{2{\mu }^2}$$
要求$P$的最大值，即求右边最大，因为${\sigma }^2$为已知的量，所以要求${\sum }_{i=1}^N(x(t_i)-\mu {)}^2$的最小值。
$$\begin{array}{c}\sum _{i=1}^N(x(t_i)-\mu {)}^2\end{array}$$
注意，这个式子其实就是最小二乘法，因此可以得到结论，当数据符合高斯正态分布时，且已知方差的时候，求均值的估计值，也就是求$x(t_i)$的最小二乘法。此时最大似然估计结果和最小二乘法结果相同。