现代信号处理——参数估计理论（最大似然估计）

墨影清泉

已于 2023-07-18 17:58:39 修改

阅读量7.6k

点赞数 2

文章标签：信号处理

于 2022-09-27 19:09:34 首次发布

本文链接：https://blog.csdn.net/qq_42233059/article/details/127076343

版权

似然函数：官方一点解释似然函数是，它是一种关于统计模型中的参数的函数，表示模型参数的似然性(likelyhood)。

“似然性”它与 ("或然性"或 “概率性”或”概率“)意思相近，都是指事件发生的可能性。但是似然性和概率在统计学中还是有明确的区分。

概率：在参数已知的情况下，预测观测结果；
似然性：在观测结果已知的情况下，对参数进行估值和猜测。
按照上面的说法，其实我们很容易联想到的就是条件概率。我们也可以将似然函数理解为条件概率的逆反。
对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是：在对被估计的未知量（或参数）没有任何先验知识的情况下，利用已知的若干观测值估计该参数。因此，在使用最大似然估计方法时，被估计的参数假定是常数，但未知；而已知的观测数据则是随机变量。

令x1，…，xN是随机变量x的N个观测值，{p(x1，…，xN|θ)，θ∈ $\Theta$ }是给定参数θ情况下观测样本(x1，…，xN)的联合条件概率密度函数。假定联合条件概率密度函数存在，且有界，我们来考虑未知（固定)参数θ的估计问题。当把联合条件分布密度函数p(x1，…，xN|θ)视为真实参数θ的函数时，常称之为似然函数。所谓似然函数，就是包含未知参数θ信息的可能性（概率论术语“似然”）函数。

最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量。

假设被估计的参数θ为未知常数，给定样本x1，x2，…，xN，则将样本的联合概率密度p（x1，x2，…，xN|θ)称为似然函数。为便于计算，似然函数通常写为对数形式：

Inp（x1，x2，…，xN|θ)

参数θ的最大似然估计在似然函数达到极大值时求得。最大似然估计就是使似然函数p(x1，…，xN|θ)最大化的估计值 $\hat{\theta }$ 。利用数学符号，未知参数θ的最大似然估计记作

为得到θ的最大似然估计，需对似然函数求导，并令导数等于0。

最大似然估计是似然函数最初的应用。上面已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值点。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值点和直接求最大值点得到的结果是相同的。==似然函数的最大值点不一定唯一，也不一定存在。==与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

最大似然估计具有以下性质：

（1）最大似然估计一般不是无偏的，但其偏差可以通过对估计值乘某个合适的常数加以修正；

（2）最大似然估计是一致估计；

（3）最大似然估计给出优效估计，如果它存在的话；

（4）对于大的N，最大似然估计ML为一高斯分布，并且其均值为θ、方差为