贝叶斯估计的理解及例子

大体上，统计学分为两个学派，一个是经典学派（又称频率学派），用的是总体信息和样本信息来处理参数的问题。另一个是贝叶斯学派，除了用的是同经典学派一样的总体信息和样本信息之外，还有先验信息。那么什么是先验信息呢？比如我们要了解全国人的平均身高，那么总体就是全国人的平均身高，样本就是从每个省里抽1万个人出来的平均身高，那么什么是先验信息呢？今年是2020年，我们可以考察之前的数据，比如2000年的全国人的平均身高，那么我们就能用2000年的全国人的平均身高作为一个参考，这个信息就叫做先验信息。
贝叶斯估计的操作步骤：
样本：
$${\mathbf{X}}_1,\cdots {\mathbf{X}}_{\mathbf{n}}$$
的密度为：
$$\mathbf{f}\left(\mathbf{x}\right)$$
其是独立同分布，从同一个总体中抽出来的，并且总的的未知参数为$\theta$，什么是未知参数呢？全国平均人的身高这个东西就叫做总体参数，此时我们并不知道这个参数，所以称其为未知参数$\theta$
并且将先验的分布记为：$$\mathbf{\pi }\left(\mathbf{\theta }\right)$$
注意，我们的任务是要通过样本信息和先验信息来求得其后验信息、后验分布。
记：
$$\mathbf{h}\left(\mathbf{\theta }|\mathbf{x}\right)=\prod _{\mathbf{i}=1}^{\mathbf{n}}\mathbf{f}\left({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta }\right)\mathbf{\pi }\left(\mathbf{\theta }\right)$$
上面的公式是求样本和参数的联合分布
再记：
$$\mathbf{m}\left(\mathbf{x}\right)=\int \mathbf{h}\left(\mathbf{\theta }|\mathbf{x}\right)\mathbf{d}\mathbf{x}$$
其被积区域就是$\theta$的范围
那么后验密度$\mathbf{\pi }\left(\mathbf{\theta }|\mathbf{x}\right)$就为：
$$\mathbf{\pi }\left(\mathbf{\theta }|\mathbf{x}\right)=\frac{\mathbf{h}\left(\mathbf{\theta }|\mathbf{x}\right)}{\mathbf{m}\left(\mathbf{x}\right)}$$
其目的是求参数$\theta$在样本信息条件下的后验分布，进而在该$\theta$后验分布的基础上求$\theta$得各种后验估计。
实际上贝叶斯估计就是在求出这个后验分布密度之后，根据这个密度函数求出他的期望。

下面举个例子：
例、设总体X服从二项分布，即X~B(N，p)，且N已知，p为未知参数，p的先验分布为0到1的均匀分布，即U(0,1)，现有n个样本：${\mathbf{X}}_1,\cdots ,{\mathbf{X}}_{\mathbf{n}}$，求p的贝叶斯估计。
解：
步骤一：找出其密度，因为是二项分布，所以其密度为：$$\mathbf{p}\left(\mathbf{X}=\mathbf{x}\right)={\mathbf{C}}_{\mathbf{N}}^{\mathbf{x}}{\mathbf{p}}^{\mathbf{x}}{\left(1-\mathbf{p}\right)}^{\mathbf{N}-\mathbf{x}}$$
步骤二：求联合分布h，得$$\mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)=\prod _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{C}}_{\mathbf{N}}^{{\mathbf{x}}_{\mathbf{i}}}{\mathbf{p}}^{{\mathbf{x}}_{\mathbf{i}}}{\left(1-\mathbf{p}\right)}^{\mathbf{N}-{\mathbf{x}}_{\mathbf{i}}}\times 1$$
（因为是0到1的均匀分布，所以先验分布为1）
步骤三：求后验密度
$$\mathbf{\pi }\left(\mathbf{\theta },\mathbf{X}\right)=\frac{\mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)}{\int \mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)\mathbf{d}\mathbf{\theta }}$$
这里的$\theta$其实就是p，在$\mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)$中${\mathbf{C}}_{\mathbf{N}}^{{\mathbf{x}}_{\mathbf{i}}}$是没有p的，所以分子分母可以约掉，得：
$$\mathbf{\pi }\left(\mathbf{\theta },\mathbf{X}\right)=\frac{\mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)}{\int \mathbf{h}\left(\mathbf{X},\mathbf{\theta }\right)\mathbf{d}\mathbf{\theta }}=\frac{{\mathbf{p}}^{\sum {\mathbf{X}}_{\mathbf{i}}}{\left(1-\mathbf{p}\right)}^{\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}}}{{\int }_0^1{\mathbf{p}}^{\sum {\mathbf{X}}_{\mathbf{i}}}{\left(1-\mathbf{p}\right)}^{\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}}\mathbf{d}\mathbf{p}}$$
其中，分母可以凑成伽马函数：
$${\int }_0^1{\mathbf{p}}^{1+\sum {\mathbf{X}}_{\mathbf{i}}-1}{\left(1-\mathbf{p}\right)}^{\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}+1-1}\mathbf{d}\mathbf{p}$$

=$$\frac{\Gamma \left(1+\sum {\mathbf{X}}_{\mathbf{i}}\right)\Gamma \left(\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}+1\right)}{\Gamma \left(\mathbf{n}\mathbf{N}+2\right)}$$
将其带入$\mathbf{\pi }\left(\mathbf{\theta },\mathbf{X}\right)$得：
$$\mathbf{\pi }\left(\mathbf{\theta },\mathbf{X}\right)=\frac{\Gamma \left(\mathbf{n}\mathbf{N}+2\right){\mathbf{p}}^{\sum {\mathbf{X}}_{\mathbf{i}}}{\left(1-\mathbf{p}\right)}^{\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}}}{\Gamma \left(1+\sum {\mathbf{X}}_{\mathbf{i}}\right)\Gamma \left(\mathbf{n}\mathbf{N}-\sum {\mathbf{X}}_{\mathbf{i}}+1\right)}$$
步骤四：求得了后验密度，再求其期望，就得到了贝叶斯估计
故p的贝叶斯估计为：$$\hat{\mathbf{p}}=\frac{1+\sum {\mathbf{X}}_{\mathbf{i}}}{\mathbf{n}\mathbf{N}+2}$$