微信公众号上线,搜索公众号小灰灰的FPGA,关注可获取相关源码,定期更新有关FPGA的项目以及开源项目源码,包括但不限于各类检测芯片驱动、低速接口驱动、高速接口驱动、数据信号处理、图像处理以及AXI总线等
本节目录
一、系统模型
二、最大似然准则
1、离散观测的最大似然准则
2、连续观察的最大似然准则
三、最大后验概率准则
本节内容
一、系统模型
通常一个普遍的系统模型如下:
其中,H是一个系统,输入信号为s(ψ),是参数ψ的函数,ψ可以包括多个参数;r是一个观测值,被噪声n所污染,当然观测r和噪声n都是矢量。
通常参数估计就是根据观测r来得到对参数ψ的最优估计。一般有两种最优估计方法,一是最大似然准则,二是最大后验概率准则。
二、最大似然准则
最大似然准则,maximum likelihood,ML,可以理解为是发生的事件是概率最大的。其公式表示:
r1,r2,r3是已知量,Pr|s(r1,r2,r3|s)是s的函数,对参数s的最大似然估计是使Pr|s(r1,r2,r3|s)最大的s值。
1、离散观测的最大似然准则
若测量误差ni(i=1,2,3)是零均值,方差σ^2的高斯分布为:
那么,观测值ri(i=1,2,3)的均值为s,方差为σ^2的高斯分布,即以s为条件的ri的概率密度为:
若ni(i=1,2,3)互不相关,那么观测矢量r的联合概率密度为:
对于通用模型在高斯噪声情况下的观测值的概率:
一般将似然函数定义为:
最大似然函数就是最大似然估计,也是最小二乘准则:
最小二乘准则在高斯分布下式与最大似然准则等价的,在非高斯分布情况下,由于最大似然一般无法获得简洁的表达式,因此也采用最小二乘准则。
2、连续观察的最大似然准则
对于连续观测值来说,r(t)=s(t;ψ)+n(t),其中t∈T0,信号均为实数信号,T0是观察的时间段,r(t)是观测到的信号,s(t;ψ)是实际信号,ψ是待估计的参数,n(t)是高斯白噪声,功率谱密度为N0/2。
对于连续形式的观测量,将连续函数离散化,通过在T0上定义一组标准正交基fn(n=1,2,……,∞),即:
连续时间观测情况下的最小二乘准则:
似然函数为:
三、最大后验概率准则
最大后验概率准则,Maximum a posteriori probability,MAP,与最大似然准则的区别是将ψ与r交换了位置,最大化以r为条件的ψ的概率:
其中p(ψ)称为先验概率,指的是没有观察信号时候的ψ的概率。pψ|r(ψ|r)称为后验概率。
最大后验概率准则是Turbo码译码算法的基础,作用是在于可以吧接收信号分成几个部分,从一部分接收信号获得的后验概率,作为另一个部分的先验概率,各部分互相提供先验概率信息,从而形成迭代的译码算法。