17、经验贝叶斯估计

经验贝叶斯估计

贝叶斯估计的问题定义为根据一些观测数据 x 来估计未知参数 θ，用一个损失函数来衡量估计的准确性，如果用均方误差(MSE)来估计的话，将问题建模为

等价于求解后验分布的均值

最小均方误差估计器 minimum mean square error (MMSE) estimator

上式中需要知道后验概率p(θ|x)，它是利用贝叶斯定理求出来的，因此需要先知道似然函数p(x|θ)以及先验分布p(θ)

在此之前，经典贝叶斯参数估计中，有一组观察样本,是从条件概率密度为p(x|θ)的分布中采样出来的，在已知先验 p(θ) 参数的前提下，估计目标参数。

但是经验贝叶斯 (Empirical Bayes)里，先验分布的参数是没有提前给定的，也是要通过观测数据去估计。

经验贝叶斯方法可以被看成是分层贝叶斯模型：在一个两阶段的分层贝叶斯模型中，观测数据是从一组未知的参数 中根据 p(x|θ)生成的，注意每一个样本

只对应参数 ，不像经典贝叶斯估计，对于一个参数有多个观测数据，而是对于一个参数只有一个观测数据；

θ是从 中获取的，其中 是非参数的分布，也可以直接表示为 p(θ)。目标是估计

以一个高斯分布为例，先从分布 采样一组,再分别从分布中采样一个，构成一组观测,相当于二次采样

另一种理解的方式是将它看成是一个多元混合分布呢，采样一个样本，但它有多个维度，每个维度是服从一个分布的，所以不同维度就服从不同的分布。

如果要统一起来，方便符号表示的话，记单一样本为 ，下标表示是第几维，上标表示是这一维的第几次采样。

利用最大似然估计，很容易得知 ，因为对于待估计的参数 只有一个观测样本。而如果有更多m个观测样本 则会估计得更准确。

直观理解就是：经验贝叶斯需要用到辅助的经验信息，待估计参数可以通过其他相关参数进行辅助（因为这些参数是从相同的先验形式），而其他相关参数又是可以通过其他观测数据获得的，这样就可以使用来自其他观测数据来改进特定参数的估计性能。

Robbins Estimator (罗宾斯估计)

根据经验贝叶斯估计定义，在泊松分布下:

后验的期望

对于边缘分布 p(x) 可以用 x 出现的频率来估计，如果知道对应取值的出现频次分别为 那么

最终得到了罗宾斯估计结果，而要用到这个结论，需要知道事件发生的频次，而且目标项只增加后一项对它的信息增强，如果目标项是最后一项其实也是无能为力的。

James-Stein Estimator (詹姆斯坦估计)

罗宾斯估计中是针对泊松分布进行的研究，詹姆斯坦估计则是针对高斯分布进行的研究。我们先假设一个简单的例子，其中 θ 是未知的，σ 是已知的：

先要写出 x 的边缘分布

积分部分的推导是利用了 Gaussian intergral 的一个结论

也是一个高斯分布，意味着 是从分布 中采样得到的，且与先验分布的参数无关。 同时可以通过这些观测样本来估计先验分布的参数 (n-1来自于无偏估计)：

进一步推导后验分布

后验的期望就可以表示为

上述期望的含义是估计在观测样本下参数的值。对于一个具体的观测样本 和它对应的参数 ，并代入下式其他样本的估计

可以写出

相较于罗宾斯估计只用到一个相关观测，詹姆斯坦估计用到了所有观测量

接下来写出它的更一般形式。对于一个多元 ( d 元) 高斯分布 ，注意加粗表示他们都是向量，其中 θ 是未知的 (待估计)，而 σ 是已知的。其中每一维 都是随机变量；是 x 的一个观测样本，也就是只采样了一次，不像通常采样 n 个样本。

想根据这一个观测来估计 θ ，采用最大似然估计，可以很容易地得到 。因为只有一次观测，那当然就以这个观测值作为均值了。

然后James–Stein提出了一个新的估计方法，并证明当 d≥3 时，能够获得比最大似然估计更小的均方误差。而这个新的估计方法写作：

当然了，对于每一维变量，都可以分开来计算：

如果 σ 是未知的话，也可以通过 或者无偏估计 来估计；以及如果有更多的 (n 个) 观测样本 ( 是 d 维的)，可以修正为：

顺带提一下，括号部分被称为收缩因子 (shrinkage factor)

Tweedie Estimator

假设了先验 p(θ) 是服从正态分布的，可以通过观测数据估计出参数σ。如果不对先验进行假设呢？

依旧使用 ；同时先写出边缘分布的形式

这里其实可以发现 后验期望与先验分布无关，一直保有着 p(θ) 的雏形而没有探究它的具体样子，而仅与边缘分布有关，利用样本估计边缘分布即可。因此可以写出Tweedie’s estimator：

为了提高边缘密度估计的精度，往往会假设边缘密度属于某个参数分布族。

结论

参考于：一文解释 经验贝叶斯估计, Tweedie's formula - 知乎 (zhihu.com)