点估计
如求一个城市所有人的平均身高:
城市.所有人–>总体
城市.所有人.平均身高–>总体的参数(θ)
城市.所有人.平均身高估计值–>总体的估计参数( θ ^ \hat{θ} θ^)
此时我们想得到θ,需要将整个城市所有人的身高全部测量,然后才能计算出平均身高θ,但这是不可能的,因此我们采取随机抽样来获得近似值,用样本来进行估计
此时,我们设:
城市所有人的平均身高为:μ
样本1000人的平均身高为: μ ^ \hat{μ} μ^
由于每次抽取的样本1000人都不同,所以每次得到的
μ
^
\hat{μ}
μ^值也不相同,因此我们可以称
μ
^
\hat{μ}
μ^为一个随机变量。
此时,估计一个总体参数的某个值,叫做点估计。
区间估计
不同于点估计,有时我们估计的值是一个区间,比如看见一个人以后,估计他是二三十岁,即此人年龄是20-30岁之间,就属于一个区间估计。差值越小,精度越高。
依旧以上面城市人口的身高为例:
抽样后会得到不同的区间精度:
不同的抽样方法->方法科学,精度变高
不同的样本范围->范围变大,精度变高
对应点估计,区间估计是一对随机变量
无偏估计
如何确定估计方法的好坏,此时引入一个概念叫无偏unbiased
在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量平均取值的大小。
需要注意的是,期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。
大数定律表明,随着重复次数接近无穷大,数值的算术平均值几乎肯定地收敛于期望值。
无偏:E(
θ
^
\hat{θ}
θ^)估计量的期望=θ总体的参数
有偏:不符合这个要求则称为有偏
偏(Bias):b(θ)=E( θ ^ \hat{θ} θ^)-θ
当出现多个无偏估计量时,如何评估那一个最好呢。
最小方差无偏估计量MVUE
即 谁的方差最小,那就谁最好。
方差可以来衡量数据波动的大小,对于多个无偏估计量,则可以采用最小方差无偏估计量来衡量,离散程度越小越接近θ
那么,无偏估计量一定优于有偏估计量吗?
图中:
μ B μ_B μB=θ,—>f(B)为无偏
μ A μ_A μA≠θ,—>f(A)为有偏。
但
μ
A
μ_A
μA相对于θ取值区间<
μ
B
μ_B
μB相对于θ取值区间(图像横轴的区间范围)
所以并非无偏估计量一定优于有偏估计量。
这个原理引用一个内容:取均方误差最小的估计量
Mean squared error for θ ^ \hat{θ} θ^:
E[ ( θ ^ − θ ) 2 (\hat{θ}-θ)^2 (θ^−θ)2]
E[ ( θ ^ − θ ) 2 (\hat{θ}-θ)^2 (θ^−θ)2]–化简–>V( θ ^ \hat{θ} θ^)+ b 2 ( θ ) b^2(θ) b2(θ)
该公式也可以用于对比两个无偏估计量:
依上文,若为两无偏估计量,则
b
2
(
θ
)
b^2(θ)
b2(θ)=0;
则E[
(
θ
^
−
θ
)
2
(\hat{θ}-θ)^2
(θ^−θ)2]=V(
θ
^
\hat{θ}
θ^),即对比方差较小的值即可