花书学习笔记——杂记

2020.10.28

关于贝叶斯学派和频率学派的问题
每次提到贝叶斯学派和频率学派的不同之处时，人们都会使用这个例子：

给定数据集$X_{data}$，如果我们想要确定某一个参数$\theta$，频率学派的做法是 a r g m a x θ { p ( X d a t a ∣ θ ) } \mathop{argmax}\limits_{\theta}\{p(X_{data} | \theta)\} θargmax​{p(Xdata​∣θ)}，也就是说“认为$\theta$是一个确定的常量，我们只需要找到这个常量的值即可”。而贝叶斯学派的做法则是 a r g m a x θ { p ( θ ∣ X d a t a ) } = a r g m a x θ { p ( X d a t a ∣ θ ) ⋅ p ( θ ) ) } \mathop{argmax}\limits_{\theta}\{p(\theta | X_{data})\} = \mathop{argmax}\limits_{\theta}\{p(X_{data} | \theta) \cdot p(\theta)) \} θargmax​{p(θ∣Xdata​)}=θargmax​{p(Xdata​∣θ)⋅p(θ))}，也就是说“认为$\theta$是一个随机变量，我们只需要找到这个随机变量的分布，然后取概率密度最大的$\theta$即可”。

但实际上，我个人认为，这里的说法很让人摸不着头脑。单从式子来看，频率学派并没有认为$\theta$是一个确定的常量，$p(X_{data}|\theta )$完全可以是$\theta$的函数（并不是$\theta$的概率密度函数，因为并不能保证积分一定为1。事实上，它就是似然函数）。那么这样解释的话，两个学派的唯一区别就出现了：有没有给似然函数乘上一个$\theta$的先验分布$p(\theta )$。

显然，如果$\theta$在它的定义域（取值合理的集合）内并不服从均匀分布，那么肯定需要在确定$\theta$时，要考虑$\theta$的分布状况。举个例子，如果$\theta$非常非常有可能等于0，那么即使$p(X_{data}|\theta =0)=p(X_{data}|\theta =1)=0.5$，我们也应该认为基于当前的观测事实$X_{data}$，$\theta$应该取0而非1，因为它本来就非常非常有可能等于0。

简而言之，在这件事上，最大似然（ML）做法并不是正确的，激进一点，我们可以说ML就是错误的，因为它完全没有考虑$\theta$的分布状况，而MAP才是真正正确、一点错误都没有，而且解释起来也非常顺利的：给定$X_{data}$的情况下，最有可能的$\theta$是多少。之所以使用ML，是因为$p(\theta )$一般是不可知的，毕竟是先验，需要经验，如果没有经验就只能瞎猜。怎么瞎猜？认为$\theta$服从均匀分布呗，这样MAP就退化为ML了。