通信入门系列——最大似然准则和最大后验概率准则

微信公众号上线，搜索公众号小灰灰的FPGA,关注可获取相关源码，定期更新有关FPGA的项目以及开源项目源码，包括但不限于各类检测芯片驱动、低速接口驱动、高速接口驱动、数据信号处理、图像处理以及AXI总线等

本节目录

一、系统模型
二、最大似然准则
1、离散观测的最大似然准则
2、连续观察的最大似然准则
三、最大后验概率准则

本节内容
一、系统模型
通常一个普遍的系统模型如下：

其中,H是一个系统，输入信号为s(ψ),是参数ψ的函数，ψ可以包括多个参数；r是一个观测值，被噪声n所污染，当然观测r和噪声n都是矢量。
通常参数估计就是根据观测r来得到对参数ψ的最优估计。一般有两种最优估计方法，一是最大似然准则，二是最大后验概率准则。
二、最大似然准则
最大似然准则，maximum likelihood,ML，可以理解为是发生的事件是概率最大的。其公式表示：

r1,r2,r3是已知量，Pr|s(r1,r2,r3|s)是s的函数，对参数s的最大似然估计是使Pr|s(r1,r2,r3|s)最大的s值。
1、离散观测的最大似然准则
若测量误差ni(i=1,2,3)是零均值，方差σ^2的高斯分布为：

那么，观测值ri(i=1,2,3)的均值为s,方差为σ^2的高斯分布，即以s为条件的ri的概率密度为：

若ni(i=1,2,3)互不相关，那么观测矢量r的联合概率密度为：

对于通用模型在高斯噪声情况下的观测值的概率：

一般将似然函数定义为：

最大似然函数就是最大似然估计，也是最小二乘准则：

最小二乘准则在高斯分布下式与最大似然准则等价的，在非高斯分布情况下，由于最大似然一般无法获得简洁的表达式，因此也采用最小二乘准则。
2、连续观察的最大似然准则
对于连续观测值来说，r(t)=s(t;ψ)+n(t),其中t∈T0,信号均为实数信号，T0是观察的时间段，r(t)是观测到的信号，s(t;ψ)是实际信号，ψ是待估计的参数，n(t)是高斯白噪声，功率谱密度为N0/2。
对于连续形式的观测量，将连续函数离散化，通过在T0上定义一组标准正交基fn(n=1,2,……，∞)，即：

连续时间观测情况下的最小二乘准则：

似然函数为：

三、最大后验概率准则
最大后验概率准则，Maximum a posteriori probability,MAP，与最大似然准则的区别是将ψ与r交换了位置，最大化以r为条件的ψ的概率：

其中p(ψ)称为先验概率，指的是没有观察信号时候的ψ的概率。pψ|r(ψ|r)称为后验概率。
最大后验概率准则是Turbo码译码算法的基础，作用是在于可以吧接收信号分成几个部分，从一部分接收信号获得的后验概率，作为另一个部分的先验概率，各部分互相提供先验概率信息，从而形成迭代的译码算法。