有偏估计和无偏估计
无偏估计
无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值,则称此估计量为被估计参数的无偏估计,即具有无偏性,是一种用于评价估计量优良性的准则。无偏估计的意义是:在多次重复下,它们的平均数接近所估计的参数真值。
有偏估计
有偏估计(biased estimate)是指由样本值求得的估计值与待估参数的真值之间有系统误差,其期望值不是待估参数的真值。在统计学中,估计量的偏差(或偏差函数)是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。
moment matching
矩
数理统计7:矩法估计(MM)、极大似然估计(MLE),定时截尾实验
对于随机变量
X
X
X, 其
k
k
k阶原点矩和
k
k
k阶中心矩为
a
k
=
E
(
X
k
)
,
m
k
=
E
[
X
−
E
(
X
)
]
k
a_k=E(X^k), m_k=E[X-E(X)]^k
ak=E(Xk),mk=E[X−E(X)]k
特别地,一阶原点矩就是随机变量的期望,二阶中心矩就是随机变量的方差。
现实生活中,我们不知道
X
X
X的客观分布,因而需要通过样本
(
X
1
,
X
2
,
X
3
,
.
.
.
.
,
X
n
)
(X_1,X_2,X_3,....,X_n)
(X1,X2,X3,....,Xn)来估计总体矩。其样本
k
k
k阶原点矩和样本
k
k
k阶中心矩计算为
a
n
,
k
=
1
n
∑
j
=
1
n
E
j
(
X
k
)
,
m
n
,
k
=
1
n
∑
j
=
1
n
(
X
j
−
X
ˉ
)
k
a_{n,k}=\frac{1}{n}\sum^n_{j=1} E_j(X^k), m_{n,k}=\frac{1}{n}\sum^n_{j=1} (X_j-\bar{X})^k
an,k=n1j=1∑nEj(Xk),mn,k=n1j=1∑n(Xj−Xˉ)k
显然,它们都是统计量,因为给出样本之后它们都是可计算的。形式上,样本矩是对总体矩中元素的直接替换后求平均,因此总是比较容易计算的。容易验证, a n , k a_{n,k} an,k是 a k a_{k} ak的无偏估计,但 m n , k m_{n,k} mn,k则不是。
矩匹配
The method of moments can be very useful in obtaining approximations to the distributions of statistics. This technique is called moment matching.
Normal method of moments
假设数据
X
1
,
.
.
.
.
,
X
n
X_1,.... ,X_n
X1,....,Xn服从正太分布
N
(
θ
,
σ
2
)
N(\theta,\sigma^2)
N(θ,σ2). 我们可以计算样本1阶矩和样本2阶矩
a
n
,
1
=
X
ˉ
,
a
n
,
2
=
1
n
∑
i
=
1
n
X
i
2
a_{n,1}=\bar{X},a_{n,2}=\frac{1}{n}\sum^n_{i=1}X^2_i
an,1=Xˉ,an,2=n1i=1∑nXi2
根据客观分布
N
(
θ
,
σ
2
)
N(\theta,\sigma^2)
N(θ,σ2), 1阶矩和2阶矩的计算公式为
a
1
=
θ
,
a
2
=
θ
2
+
σ
2
a_1=\theta, a_2=\theta^2+\sigma^2
a1=θ,a2=θ2+σ2
我们将样本矩带入矩的计算公式,两个方程即可以解出两个未知数
θ
,
σ
2
\theta,\sigma^2
θ,σ2的估计值
θ
~
,
σ
~
2
\tilde{\theta},\tilde{\sigma}^2
θ~,σ~2
θ
~
=
X
ˉ
,
σ
~
2
=
1
n
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
\tilde{\theta}=\bar{X}, \tilde{\sigma}^2=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^2
θ~=Xˉ,σ~2=n1i=1∑n(Xi−Xˉ)2
在贝叶斯机器学习中,矩匹配(Moment Matching)是种基于KL-散度最小化的近似方法——期望传播( Expectation Propagation)的一种形式。