现代信号处理——参数估计理论（Bayes估计）

一、代价函数

代价函数：衡量估计值与参数真实值之间误差的函数。

代价函数函数需要满足非负性和具有极小值两个条件。

常用的代价函数：

1、误差绝对值代价函数：

2、误差平方代价函数：用的比较多，在最小二乘法中使用了该代价函数

3、均匀代价函数 ：

 

 二、Bayes估计

贝叶斯估计：从参数的先验知识和样本出发。

不同于ML估计，不再把参数θ看成一个未知的确定变量，而是看成未知的随机变量，通过对第i类样本Di的观察，使概率密度分布P(Di|θ)转化为后验概率P(θ|Di)，再求贝叶斯估计。

假设：将待估计的参数看作符合某种先验概率分布的随机变量。

基本原理：

贝叶斯估计的本质：贝叶斯估计的本质是通过贝叶斯决策得到参数θ的最优估计，使得总期望风险最小。 

假设被估计量θ的先验概率密度函数为p(θ)，代价函数是随机变量θ和观测信号x（样本）的函数，因此平均代价函数为

其中，p(x,θ)是θ和x的联合概率密度函数。 

Bayes估计：在p(θ)已知，代价函数确定条件下，使平均代价函数C最小化的参数估计。

贝叶斯估计是把待估的参数θ作为具有某种先验分布p(θ)的随机变量，通过随机样本x对θ的分布进行修正，由样本x进行修正后的概率密度p(θ|x)称为后验概率。贝叶斯估计的实质是利用后验概率p(θ|x)对θ进行推断。

后验概率密度函数p(θ|x)的获取

p(θ)已知，一般容易获取样本x关于θ的条件概率密度函数p(x|θ)，则根据贝叶斯公式可得

估计步骤： 

①确定θ的先验概率密度p（θ)。

②确定样本x的条件概率密度p(x|θ)，它是θ的函数。

③利用贝叶斯公式，求θ的后验概率

 ④计算参数θ的贝叶斯估计

例1：已知某观测样本x(n)=A+w(n)，(n=0,1，…，N-1)，其中w(n)是高斯白噪声，且方差为1。已知A满足高斯分布，且概率密度函数如下。计算A的Bayes估计。

解：w（n）=x（n）-A；假设A已知，则求x的分布实际上就是求w的分布，而w满足高斯分布，因此，在已知A的条件下，x的条件概率是高斯分布。

 

参考视频：

https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737

https://blog.csdn.net/zengxiantao1994/article/details/72889732?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168966695216800211583981%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168966695216800211583981&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-72889732-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%B0%E8%AE%A1&spm=1018.2226.3001.4187