https://www.zhihu.com/column/c_1370754684689416192
什么是参数估计?
假定信号
μ
μ
μ(未知)是一个直流信号,在一定的噪声的条件下,得到的信号可以表示如下:
x
(
t
)
=
μ
+
n
(
t
)
\begin{equation} x(t)=μ+n(t) \end{equation}
x(t)=μ+n(t)
其中,
n
(
t
)
n(t)
n(t)为连续的高斯分布的噪声,均值和方差均已知,
n
(
t
)
~
N
(
0
,
σ
2
)
n(t)~N(0,\sigma^2)
n(t)~N(0,σ2) 。
那么我们采集到的数据也服从高斯分布,有 x ( t ) ~ N ( μ , σ 2 ) x(t)~N(\mu,\sigma^2) x(t)~N(μ,σ2)。
显然,我们是已知右边的情况下来得到左边的 x ( t ) x(t) x(t) ,因此可以知道 x ( t ) x(t) x(t)应该是什么样子的。
但真实情况是,我们只能获取一系列的 x ( t ) x(t) x(t) ,但并不能准确得知他的均值和方差(特征),那么我们需要通过数学的方法去估计数据的特征是什么,这个过程就叫做参数估计。
无偏估计
对于模型 x ( t ) = μ + n ( t ) x(t)=\mu +n(t) x(t)=μ+n(t)而言
采集到的数据可以表示为
X
=
[
x
(
t
1
)
,
x
(
t
2
)
,
⋯
,
x
(
t
n
)
]
′
X=\left[x(t_1),x(t_2), \cdots,x(t_n) \right]^\prime
X=[x(t1),x(t2),⋯,x(tn)]′,对于采集到的数据,我们可以估计出均值
μ
^
=
1
N
∑
i
=
1
N
x
(
t
i
)
\begin{equation} \hat{\mu}=\frac{1}{N}\sum_{i=1}^{N}x(t_i) \end{equation}
μ^=N1i=1∑Nx(ti)
注意:这里的
μ
\mu
μ写的是
μ
^
\hat{\mu}
μ^,表示的是一个估计量,也就是说使用一直系列的测量结果
x
(
t
)
x(t)
x(t)去估计原来的一个均值情况,所以估计均值
μ
\mu
μ也是在做参数估计。
对于估计值
μ
^
\hat{\mu}
μ^,我们当然希望他们越接近
μ
\mu
μ(常量)越好,因为采集到的不同的
X
X
X,其均值和方差的估计值都会变化(估计值是随机变量),那怎么衡量呢?我们首先自然可以想到用数学期望来衡量:
E
(
μ
^
)
=
μ
\begin{equation} E(\hat{\mu})=\mu \end{equation}
E(μ^)=μ
当估计值期望等于原始的均值时候,这时候的估计,我们称作无偏估计。
其次,我们也会考虑数据在均值附近的一个波动范围内,我们用MSE和方差作为代价函数(cost function)去衡量其准确性。
MSE(最小均方误差)的表达式:
M
S
E
=
E
(
(
μ
^
−
μ
)
2
)
\begin{equation} MSE=E((\hat{\mu}-\mu)^2) \end{equation}
MSE=E((μ^−μ)2)
方差的表达式:
V
a
r
(
μ
^
)
=
E
(
μ
^
−
E
(
μ
^
)
)
\begin{equation} Var(\hat{\mu})=E(\hat{\mu}-E({\hat{\mu}})) \end{equation}
Var(μ^)=E(μ^−E(μ^))
可以发现,当
μ
^
\hat{\mu}
μ^是无偏估计的时候,MSE和方差其实是同样的形式,在这种情况下,两种方法的衡量结果是一样的的,其余时候均不一样。因此可以用不同的方式请评价估计值的好坏。
极大似然估计
同样的,对于模型 x ( t ) = μ + n ( t ) x(t)=\mu +n(t) x(t)=μ+n(t),其中 n ( t ) n(t) n(t)服从 ( 0 , σ 2 ) (0,\sigma^2) (0,σ2)的正态分布,其中方差 σ 2 \sigma^2 σ2已知,我们需要估计均值。
采集到的数据可以表示为 X = [ x ( t 1 ) , x ( t 2 ) , ⋯ , x ( t N ) ] ′ X=\left[ x(t_1),x(t_2),\cdots,x(t_N) \right]^\prime X=[x(t1),x(t2),⋯,x(tN)]′
假定我们知道
μ
\mu
μ的值,那么
x
(
t
)
∼
N
(
μ
,
σ
2
)
x(t) \sim N(\mu,\sigma^2)
x(t)∼N(μ,σ2),此时我们可以用正态分布的概率密度来表示
x
x
x的可能取值:
P
(
x
∣
μ
)
=
1
2
π
σ
2
exp
(
−
(
x
−
μ
)
2
2
σ
2
)
\begin{equation} P(x|\mu)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \end{equation}
P(x∣μ)=2πσ21exp(−2σ2(x−μ)2)
那么,一系列的采集数据,我们可以用联合概率密度来表示:
P
(
x
(
t
1
)
,
x
(
t
2
)
,
⋯
,
x
(
t
N
)
∣
μ
)
=
1
2
π
σ
2
exp
(
−
∑
i
=
1
N
(
x
(
t
i
)
−
μ
)
2
2
σ
2
)
\begin{equation} P(x(t_1),x(t_2),\cdots,x(t_N)|\mu)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{\sum_{i=1}^{N}(x(t_i)-\mu)^2}{2\sigma^2} \right) \end{equation}
P(x(t1),x(t2),⋯,x(tN)∣μ)=2πσ21exp(−2σ2∑i=1N(x(ti)−μ)2)
在正态分布中,由于
3
σ
3\sigma
3σ原则的存在,大部分点都在这个范围内(即这个范围内的概率密度函数的值更高)。
对于我们已经确定的样本点, x ( t 1 ) x(t_1) x(t1)到 x ( t N ) x(t_N) x(tN),它们大部分也应该在这个范围内。因此我们需要找到一个合适的 μ \mu μ,使得样本点尽可能的都落在靠近 μ \mu μ的地方,使得概率 P P P最大。
也就是说,我们可以用通过 P ( x ( t 1 ) , x ( t 2 ) , ⋯ , x ( t N ) ∣ μ ) P(x(t_1),x(t_2),\cdots,x(t_N)|\mu) P(x(t1),x(t2),⋯,x(tN)∣μ)最大来找到这个合适的 μ \mu μ,这就是最大似然估计的含义。
接下来是一个简单的推导过程:
对于联合概率密度函数,为了消除e的指数,我们可以使用对数
ln
(
P
(
x
(
t
1
)
,
⋯
,
x
(
t
N
)
∣
μ
)
)
=
−
ln
(
2
π
σ
2
)
−
∑
i
=
1
N
(
x
(
t
i
)
−
μ
)
2
2
μ
2
\ln(P(x(t_{1}), \cdots, x(t_{N}) | \mu)) = - \ln (\sqrt{2 \pi \sigma ^2} ) - \frac {\sum_{i=1} ^ N ( x ( t _ { i } ) - \mu ) ^ { 2 } } { 2 \mu ^ { 2 } }
ln(P(x(t1),⋯,x(tN)∣μ))=−ln(2πσ2)−2μ2∑i=1N(x(ti)−μ)2
要求
P
P
P的最大值,即求右边最大,因为
σ
2
\sigma^2
σ2为已知的量,所以要求
∑
i
=
1
N
(
x
(
t
i
)
−
μ
)
2
\sum_{i=1} ^ N ( x ( t _ { i } ) - \mu ) ^ { 2 }
∑i=1N(x(ti)−μ)2的最小值。
∑
i
=
1
N
(
x
(
t
i
)
−
μ
)
2
\begin{equation} \sum_{i=1} ^ N ( x ( t _ { i } ) - \mu ) ^ { 2 } \end{equation}
i=1∑N(x(ti)−μ)2
注意,这个式子其实就是最小二乘法,因此可以得到结论,当数据符合高斯正态分布时,且已知方差的时候,求均值的估计值,也就是求
x
(
t
i
)
x(t_i)
x(ti)的最小二乘法。此时最大似然估计结果和最小二乘法结果相同。