[系列]参数估计

系列

• 点估计
• 极大似然估计
• 贝叶斯公式
• 贝叶斯估计
• 最小期望风险估计
• 最小均方估计与贝叶斯估计
• 最大后验概率估计与贝叶斯估计
• 线性最小均方估计
  • 随机变量
    • 单个观测
    • 多个观测
  • 随机向量
• 最小二乘估计
• 极大似然估计&贝叶斯估计
• 极大似然估计&最大后验概率估计
• 线性最小均方估计&最小二乘估计
• 贝叶斯估计&最小期望风险估计

统计学中期望风险最小的贝叶斯估计是，计算估计值和真实值偏差的数学期望。最小均方估计实际上实际计算以后验概率为概率的参数的均值，而最大后验概率是后验概率的峰值对应的参数。这两者的区别在于前者找平均或者找最大。

概率密度估计中的贝叶斯估计，其目的是从有限样本估计总体分布。与期望风险最小的贝叶斯参数估计是不同的概念。之所以命名贝叶斯还是因为用到了贝叶斯公式，首先需要计算后验概率密度。然后以后验概率密度作为概率密度，计算未知参数的概率密度函数的数学期望，作为总体估计。这与贝叶斯参数估计的最小均方估计异曲同工。如果增加样本数量可以使后验概率序列逐渐尖锐，那这就和最大后验概率的思想异曲同工了。