一、代价函数
代价函数:衡量估计值与参数真实值之间误差的函数。
代价函数函数需要满足非负性和具有极小值两个条件。
常用的代价函数:
1、误差绝对值代价函数:
2、误差平方代价函数:用的比较多,在最小二乘法中使用了该代价函数
3、均匀代价函数 :
二、Bayes估计
贝叶斯估计:从参数的先验知识和样本出发。
不同于ML估计,不再把参数θ看成一个未知的确定变量,而是看成未知的随机变量,通过对第i类样本Di的观察,使概率密度分布P(Di|θ)转化为后验概率P(θ|Di),再求贝叶斯估计。
假设:将待估计的参数看作符合某种先验概率分布的随机变量。
基本原理:
贝叶斯估计的本质:贝叶斯估计的本质是通过贝叶斯决策得到参数θ的最优估计,使得总期望风险最小。
假设被估计量θ的先验概率密度函数为p(θ),代价函数是随机变量θ和观测信号x(样本)的函数,因此平均代价函数为
其中,p(x,θ)是θ和x的联合概率密度函数。
Bayes估计:在p(θ)已知,代价函数确定条件下,使平均代价函数C最小化的参数估计。
贝叶斯估计是把待估的参数θ作为具有某种先验分布p(θ)的随机变量,通过随机样本x对θ的分布进行修正,由样本x进行修正后的概率密度p(θ|x)称为后验概率。贝叶斯估计的实质是利用后验概率p(θ|x)对θ进行推断。
后验概率密度函数p(θ|x)的获取
p(θ)已知,一般容易获取样本x关于θ的条件概率密度函数p(x|θ),则根据贝叶斯公式可得
估计步骤:
①确定θ的先验概率密度p(θ)。
②确定样本x的条件概率密度p(x|θ),它是θ的函数。
③利用贝叶斯公式,求θ的后验概率
④计算参数θ的贝叶斯估计
例1:已知某观测样本x(n)=A+w(n),(n=0,1,…,N-1),其中w(n)是高斯白噪声,且方差为1。已知A满足高斯分布,且概率密度函数如下。计算A的Bayes估计。
解:w(n)=x(n)-A;假设A已知,则求x的分布实际上就是求w的分布,而w满足高斯分布,因此,在已知A的条件下,x的条件概率是高斯分布。
参考视频:
https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737