点估计

距估计：

矩估计，即矩估计法，也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计。

相合性：

相合性(consistence)是一个估计量所应具备的最基本的性质。相合估计亦称为一致估计、相容估计，估计量的一种大样本性质为：当样本容量n充分大时，估计量可以以任意的精确程度逼近被估计参数的真值。按收敛意义不同，可以区分不同的相合性，常见的有：弱相合估计、强相合估计、r阶相合估计，这三种相合性之间的关系与三种收敛性的关系是完全一致的。

设θ为未知参数，对每个自然数n,θn是θ的一个估计量，假如θn依概率收敛于θ，则称θn为θ的相合估计。

最大似然估计：

最大似然估计是对似然函数最大化所获得的一种估计，其关键是从样本x和含有未知参数θ的分布p(x:θ)获得似然函数。

设x=(x1,x2,…,xn;θ)=

其中，p(xi;θ)在连续场合为密度函数在xi处的值，在离散场合是分布列中的一个概率Pθ（X=xi）。对样本分布p(x;θ)有如下两个考察角度：

样本是怎么产生的？回答是：“先有θ，后有x”，即先由“上帝”给一个θ的值θ0。然后由分布p(x; θ0)经简单随机抽样产生样本的观测值x。

如今有了样本观测值x，如果确定产生此样本观察值x的参数θ0。当给定样本观察值x时样本分布p(x;θ)仅仅是θ的函数，特记其为L(θ;x)或L(θ)，并称其为似然函数，这个函数L(θ)表明：不同的θ可使同一组样本观察值x出现的机会不同。若L（θ1）＞L（θ2），表明θ1使x出现的机会比θx使同一个x出现的机会更大一些。可是L(θ)不是θ的分布，对θ物概率可言，再用机会也不恰当，英国统计学家费希尔建议改用“似然”，即θ1比θ2更像θ的真值，从而似然函数L(θ)就成为度量θ更像真值的程度，其值越大越像。

步骤1：写出似然函数

L(θ) = p(x1, x2, ……，xn；θ) ---->总体是离散分布时或L(θ)=f(x1, x2，……，xn；θ)  ---->总体是连续分布时

步骤2：对似然函数两边取自然对数

ln(L(θ)) = ln(p(x1, x2, ……，xn；θ))---->总体是离散分布时或ln(L(θ)) = ln(f(x1, x2, ……，xn；θ))---->总体是连续分布时

步骤3：ln(L(θ))对θ求导，并使其等于0，然后求出θ的值

d(ln(L(θ)))/d(θ) = 0

这个方程是对数似然方程。数学求解此方程，求出来的θ值，就是未知分布参数θ的最大似然估计值。

最大似然估计的不变原理

对于某个分布p（x,θ）而言，设θ^{是θ的MLE，若g(θ)是定义在参数空间上的一个函数，当g（θ）是严格单调（增或减）函数时，g(θ})是g(θ)的MLE。

最小方差无偏估计

设θ^=θ（x1,x2,…,xn）是参数θ的一个估计。评价估计θ^优劣的标准在前面已提出三个，它们是：1.无偏性2.相合性3.渐进正态性4.无偏估计的有效性5.有偏估计的均方误差准则。

无偏估计的有效性：设θ1^=θ1（x1,x2,…,xn），θ2^=θ2（x1,x2,…,xn）都是参数θ的一个无偏估计，如果θ1^{方差小于θ2}方差，则称θ1^比θ2更有效。

有偏估计的均方误差准则

设θ1^与θ2是参数θ的两个估计量，如果E(θ1^{-θ)²小于等于E(θ2}-θ)²，

则称在均方误差意义下，θ1^优于θ2。E(θ1^{-θ)²称为θ1}的均方误差。

一致最小方差无偏估计

设F={P（x;θ）：θ∈Θ}是一个参数分布族。g(θ)是Θ上的一个可估参数，Ug是g(θ)的无偏估计类。加入g^{*(x)是这样的一个无偏估计，对一切g}(x)属于Ug，有

Var{g^(x)}≤Var{ g^{(x)},θ∈θ，则称g}(x)是g(θ)的一致最小方差无偏估计，记为UMVUE。

完备统计量( complete
statistic)数理统计概念。若存在一个统计量，使得对于总体参数的任意函数，基于该统计量的无偏估计至多只有一个，则称之为完备统计量。

设T(x)是参数分布族F={偏（x;θ）：θ∈Θ}的完备充分统计量，则每个可估参数g(θ)有一个且仅有一个依赖于T的无偏估计g^(T)，它就是g(θ)的UMVUE。

通过充分完备统计量寻找UMVUE。

1.     先找出一个充分完备统计量。2.基于T构造θ的UMVUE:(1)基于T构造一个θ的无偏估计h(T),则h(T)是UMVUE。（2）找一个无偏估计量S(x)，令h(T)=E(S(X)|T)则h(T)为UMVUE。

CR不等式：

设F={p(x;θ):θ∈Θ}是C-R的正则分布族，可估参数g(θ)是Θ上的可微函数，又设x=(x1,x2,…,xn)是取自总体分布p(x;θ)∈F的一个样本，假如g^(x)是g(θ)的无偏估计，且满足条件：下述积分

∫…∫g^（x1,x2…,xn）*p(x1,x2,…,xn;θ)dx1…dxn

可在积分号下对θ求导，则有

Varθ[g^(x)]≥[g’(θ)]²/nI(θ)

E=[g’(θ)]²/nI(θ)* Varθ[g^{(x)].E称为无偏估计g}(x)的效率。