极大似然法估计与极大验后法估计

11.2 极大似然法估计与极大验后法估计
一、极大似然法估计     极大似然法估计是以观测值出现的概率为最大作为估计准则的，它是一种觉的参数估计方法。 设是连续随机变量，其分布密度为，含有个未知参数。把个独立观测值分别代入中的，则得 将所得的个函数相乘，得               (11-20) 称函数为似然函数。当固定时，是的函数。极大似然法的实质就是求出使达到极大时的的估值。从式(11-20)可看到是观测值的函数。 为了便于求出使达到极大的，对式(11-20)取对数，则                                   (11-21) 由于对数函数是单调增加函数，因此当取极大值时，也同时取极大值，将上式分别对求偏导数，令偏导数等于零，可得下列方程组：                                              (11-22) 解上述方程组，可得使达到极大值的。按极大似然法确定的，使最有可能出现，并不需要的验前知识，即不需要知道的概率分布密度和一、二阶矩。 例11-1 设有正态分布随机变量，给出个观测值。观测值相互独立，试根据这个观测值，确定分布密度中的各参数。 解  的分布密度可用下式表示： 式中的和为未知参数。现有极大似然法来确定参数和。作似然函数： 对上式取对数，可得 将上式分别对和求偏导数，令偏导数等于零，可得 联立求解可得 上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。 设为维随机变量，为维未知参数，假定已知的条件概率密度。现在得到组的观测值。观测值相互独立。当参数是何值时，出现的可能性最大？为此，确定似然函数：                     (11-23) 或                                      (11-24) 求出使为极大的值，令                                  (11-25) 解之，可得的估值。 取极大值的充分条件是    因此，用极大似然法时，应先求似然函数，然后用微分法求出使似然函数为极大的的估值。 设有一线性观测系统                                         (11-26) 式中，是维观测值，是维未知参数，是维测量误差。设与独立。给出的统计特性，求的极大似然估计。 下面求似然函数 根据不同随机变量的概率密度变换公式，并考虑到与独立，可得 令 得上式，可得的估值。 假定噪声是正态分布，其均值为零，方差阵为，则 把代入上式，得 式中 求出，使为最大，也就是使                                  (11-27) 求对的偏导数，令偏导数等于零，可得的估值                                        (11-28)   二、           极大验后估计 如果给出维随机变量的条件概率分布密度――也称验后概率密度，怎样求的最优估值呢？极大验后估计准则：使的验后概率密度达到最大那个值为极大验后估值。可见，极大验后估计是已知求的最优估值的一种有效方法。 极大验后估计是以已知为前提的。如果只知道，可按下式计算。                                     (11-29) 式中是的验前概率密度，是观测值的概率密度，可用计算方法或实验方法求得。为了计算需要知道。在没有验前知识可供利用时，可假定在很大范围内变化。在这种情况下，可把的验前概率密度近似地看作方差阵趋于无限大的正态分布密度 式中为的方差阵，单位阵，，于是                                      (11-30) 当                                              (11-31) 当缺乏的验前概率分布密度时，极大验后估计与极大似然估计是等同的，现证明如下： 对于极大似然估计，为了求得的最优估值，应令                                             (11-32) 对于极大验后估计，为了求得的最优估值，应令                                             (11-33) 根据式(11-29)得 考虑到不是的函数，同时考虑到式(11-31)，可得                                       (11-34) 一般说来，极大似然估计比极大验后估计应用普遍，这是由于计算似然函数比计算验后概率密度较为简单。

from: http://jpkc.nwpu.edu.cn/jpkc2005/40/ebook/kcsj/chp11/11_2.htm