贝叶斯统计的无信息先验和共轭先验

声明：以下为本人的理解，不一定准确，欢迎大神指正和探讨，但请言辞不要过激。

 

在本人博客的一篇好文转载中，可以了解一下频率派和贝叶斯派，这两个学术派的区别和联系。

简单来说

• 频率派是完全以出现的样本去估这件事情的概率模型；
• 贝叶斯派则是先给出这件事情遵循哪一类分布，再根据出现的样本去得到这件事情的具体概率模型。

但他们所评估出来的概率模型事实上都应该算作是后验分布，也就是遵循了“出现这样的样本"这个条件。

以转载好文中的掷硬币为例

• 频率派，直接根据”十次结果出现七次正面“，来得到这个现象下，概率模型为： P(正面|”十次结果出现七次正面“)=0.7
• 贝叶斯派，先觉得这个模型是个二项分布，也就是说这个模型的先验分布是二项分布，然后根据出现的”十次结果出现七次正面“，通过贝叶斯定理，反求P(正面|”十次结果出现七次正面“)

 

那么这里对于贝叶斯派来说就有个问题，就是刚开始给出来的先验分布，事实上是假设的，有时候甚至我们都不知道会是什么分布。

那么怎么得到先验分布呢？

两种方法，就是主题的无信息先验和共轭先验。

1. 无信息先验

我们虽然没有先验分布，即没有g(theta)

但实际中我们或许可以通过大量实验，得到在这个theta条件下出现的样本X的分布 f(X| theta)。

然后通过一些公式求出杰弗里斯先验(Jeffrey's prior)，把杰弗里斯先验当作theta的先验。

具体的求解过程：

 

2. 共轭先验

思想是，假设theta的先验分布和后验分布是同一种分布

由于根据贝叶斯定理，我们通常假设：

很多时候，由于似然函数L(theta)的介入，导致theta的先验分布g(theta)和g(theta|x)不是同一类分布，有可能先验是正态分布，后验变成gamma分布（打个比方）。

似然函数的求法：

但我们知道生活中有不少时候，一件事情先验和后验就没有道理不是同一类分布，所以不妨假设就是同一个。

于是就可以根据贝叶斯定理，求出对于的先验和后验。

这样的求先验的方法也成为共轭先验，我们也将这样的g函数对应的分布，称为f函数对应分布的共轭family！