贝叶斯估计

贝叶斯估计是概率密度函数估计中的一种主要的参数估计方法，其结果在很多情况下和最大似然估计方法相同。
两者的根本区别是：
1)最大似然估计是把待估计的参数当作未知的固定值而不是变量，所做的是根据观测数据来估计这个量的取值；
2)贝叶斯估计把参数本身看作是随机变量，要做的是根据观测数据来估计参数的分布。把参数的估计问题看成是一个在连续数值空间里的贝叶斯决策问题。

设：待估计的参数$\theta$是具有先验分布密度$p(\theta)$的随机变量，样本集$\chi=\{x_1,x_2,\ldots,x_N\}$，最优的$\theta=\theta^*$。

在贝叶斯决策中，我们有两种决策规则：最小错误率规则和最小风险规则。假设我们将$\theta$估计成$\hat{\theta}$的损失函数为$\lambda(\hat{\theta},\theta)$，$x$的取值空间是$E^d$，$\theta$的取值空间是$\Theta$，同时我们定义在样本x下的条件风险为：

$$R(\hat{\theta}|x)=\int_{\Theta}\lambda(\hat{\theta},\theta)p(\theta|x)d\theta$$
则在所有样本 $\chi$上用 $\hat{\theta}$来估计的总风险就是：
$$R=\int_{E^d}\int_{\Theta}\lambda(\hat{\theta},\theta)p(x,\theta)d\theta dx\\=\int_{E^d}\int_{\Theta}\lambda(\hat{\theta},\theta)p(\theta|x)p(x)d\theta dx\\=\int_{E^d}R(\hat{\theta}|x)p(x)dx$$

根据贝叶斯决策，我们现在希望$R$最小，而积分中各项都为非负，故等价于对所有的$x$求条件风险最小。即：

θ∗=argminθ^R(θ^|x)=∫Θλ(θ^