关于参数估计的两种途径的理解

注：此文为本人记录所用，不保证正确无误，若有问题还望看到的人及时批评指正，多谢。

---

首先明白：参数估计的最终目标是为了得到随机变量x的密度函数，这是二者的共同目的。
然而在实现这一目的的过程中，由于对这个参数的理解不同，所以最后得到的x的密度函数的表达形式也不尽相同。
频率派认为这个参数是个定值，求到了这个定值之后，就可以直接带入，得到x的密度函数，比如说x服从高斯分布，在已知其方差的情况下，我们只需要估计得x的期望（通过取对数，求导等方式获得），然后直接带入，就是一个完整且确定的密度函数；
而贝叶斯派则认为这个参数并不是一个定值，而是服从某种分布的随机变量，也就是说，它也有自己的密度函数，还想如同极大似然估计那样直接带入？那是明显不行的，因为这个密度函数会随着θ的变化而变化，是个不确定的值。那么我们应该怎么表示这个最终的目标：x的密度函数？下面是我对老师给的教材的第6讲，第11页的算术推导的理解：

这第一个式子的左边表示：在已有训练集大X的前提下，θ与x的联合概率密度，右边第一个因子表示以训练集与未知数θ为条件下，x的密度函数，第二个因子表示以训练集为条件的θ的条件概率。这个θ似乎很多余，很讨厌，如果没有的话，就是个很简单的条件概率计算公式。如果真的这么写的话，那就很清爽，很美观了（就是我们平常见到的贝叶斯公式嘛）；嗯……如果真的这么写的话，我们后来的内容也就无法继续了。θ参与其中是可以理解的，因为x的密度函数以θ作为参数。

这个式子是说x可以由参数θ来独立表示出来，它只跟θ有关，不用训练集，跟训练集没有关系，这是很好理解的。

由全概率公式得到具体的x的概率密度的计算方法，这个就是我们的最终目的了。注意右方的积分对象的第一个因式P（x|θ），这个是含有θ的x的概率密度函数，表达式里面既有θ，也必有x；第二个因式是关于θ的表达式。所以二者相乘，是关于x，θ的。最后我们将其关于θ积分，就抹去了θ，只剩下x了，也就是我们所需要的x的密度函数。

---

在教材中的example部分，我觉得很有些问题很容易让人迷惑。1.尤其是第14页的那张图，好像表达的意思就是：测试集的样本空间越大，对μ的估计就越来越接近真实值，2.而且第13页的计算中也是用到了取对数然后求导的方法。这个好像就是频率派的所作所为嘛。很容易让人觉得困惑。
例子是这样描述的：某随机变量x服从正态分布，已知标准差，不知道期望，我们想通过测试集的数据来估计一下这个期望。然后……
其实到了第12页结束，目的就已经达到了。看式子3，右边第一个因式P（x|θ）为服从均值为θ，标准差为已知的标准差的正态分布的密度函数。第二个因式如下求出

结果将这两个相乘，对θ积分，就ok了。

12页之后只是为了给我们表现：随着测试集的不断扩大，p(θ|X)的分布情况。从图中那个可以看到，测试集扩大，则p（θ|X）的分布越来越明确——1.它的均值越来越靠近真实的x的均值；2.而且方差越来越小。这透露出一个信息：θ很可能是靠近真实的x的均值（也有可能远离x的真实均值，只是概率比较小而已），这个是比较符合我们的直观认知的。而13页，14页之后的内容只是有助于我们理解它随着数据集的变大，逐渐趋近极大似然估计。

总结：二者的不同仅仅在于：贝叶斯估计得到的是个θ是个不确定的值，所以没法直接带入x的密度函数，而是需要求积分。这是二者在实现上的主要区别。