伯努利分布的参数估计

设事件$A$发生的概率为$\theta$，为了估计$\theta$，进行了$n$次独立观察，其中事件A出现的次数为$m$。

统计量

样本均值：

$\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\frac{m}{n}$

样本方差：

$s_n^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2$

$=\frac{1}{n}{\sum }_{i=1}^n(x_i^2-2x_i\overline{x}+{\overline{x}}^2)$

$=\frac{1}{n}({\sum }_{i=1}^n{x}_i^2-2\overline{x}{\sum }_{i=1}^n{x}_i+{\sum }_{i=1}^n{\overline{x}}^2)$

$=\frac{1}{n}(m-2m\overline{x}+n{\overline{x}}^2)$

$=\frac{1}{n}(m-2m\frac{m}{n}+n\frac{m^2}{n^2})$

$=\frac{m}{n}(1-\frac{m}{n})$

$=\overline{x}(1-\overline{x})$

大样本情况下的区间估计

大样本情况下，样本均值$\overline{x}$的渐近分布为$N(\theta ,{\sigma }^2/n)$。因此有$\frac{\overline{x}-\theta }{\sigma /\sqrt{n}}\sim N(0,1)$

$p(|\frac{\overline{x}-\theta }{\sigma /\sqrt{n}}|\le Z_{\alpha /2})=1-\alpha$

$p(\overline{x}-Z_{\alpha /2}\frac{\sigma }{\sqrt{n}}\le \theta \le \overline{x}+Z_{\alpha /2}\frac{\sigma }{\sqrt{n}})=1-\alpha$

在总体标准差$\sigma$未知情况下，用样本标准差$s_n$代替，得到：

$p(\overline{x}-Z_{\alpha /2}\sqrt{\frac{\overline{x}(1-\overline{x})}{n}}\le \mu \le \overline{x}+Z_{\alpha /2}\sqrt{\frac{\overline{x}(1-\overline{x})}{n}})=1-\alpha$

得到置信度为$1-\alpha$的区间估计$[\overline{x}-Z_{\alpha /2}\sqrt{\frac{\overline{x}(1-\overline{x})}{n}},\overline{x}+Z_{\alpha /2}\sqrt{\frac{\overline{x}(1-\overline{x})}{n}}]$

贝叶斯估计

贝叶斯学派最基本的观点是：任一未知量$\theta$都可看做随机变量，可用一个概率分布去描述，这个分布称为先验分布。设 $\theta$ 的先验分布为$Be(a,b)$分布：

$$\begin{array}{c}\pi (\theta )=\{\begin{array}{r}\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\theta }^{a-1}(1-\theta {)}^{b-1},0<\theta <1\\ 0,other\end{array}\end{array}$$

$p(x|\theta )=(\frac{n}{x}){\theta }^x(1-\theta {)}^{n-x},x=0,1,...,n$

$h(x,\theta )=p(x|\theta )\pi (\theta )=(\frac{n}{x})\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\theta }^{a+x-1}(1-\theta {)}^{n+b-x-1},x=0,1,...,n;0<\theta <1$

$\pi (\theta |x)=\frac{h(x,\theta )}{{\int }_o^{1}h(x,\theta )d\theta }=\frac{\Gamma (a+b+n)}{\Gamma (a+x)\Gamma (b+n-x)}{\theta }^{a+x-1}(1-\theta {)}^{b+n-x-1},0<\theta <1$

可以看出后验分布为$Be(a+x,b+n-x)$，结合了先验分布，样本信息，总体信息。

(1). 假设我们对$\theta$有一些了解，比如历史数据中观察到若干个值${\theta }_1,{\theta }_2,...,{\theta }_n$。由此可算得先验均值和先验方差：

$\overline{\theta }=\frac{1}{n}{\sum }_{i=1}^n{\theta }_i$

$s_n^2=\frac{1}{n}{\sum }_{i=1}^n({\theta }_i-\overline{\theta }{)}^2$

由于beta分布的均值为方差分别为：

$E(\theta )=\frac{a}{a+b}$

$Var(\theta )=\frac{ab}{(a+b{)}^2(a+b+1)}$

则令

$\hat{E}(\theta )=\overline{\theta },\widehat{Var}(\theta )=s_n^2$

得到a和b的矩估计值：

$\hat{a}=\overline{\theta }[\frac{(1-\overline{\theta })\overline{\theta }}{s_n^2}-1]$

$\hat{b}=(1-\overline{\theta })[\frac{(1-\overline{\theta })\overline{\theta }}{s_n^2}-1]$

(2). 假设我们对$\theta$了解很少，可以假设$\theta$的先验分布为0，1之间的均匀分布，也就是$\theta \sim U(0,1)=Be(1,1)$:

$\pi (\theta |x)=\frac{\Gamma (n+2)}{\Gamma (1+x)\Gamma (1+n-x)}{\theta }^{1+x-1}(1-\theta {)}^{1+n-x-1},0<\theta <1$

贝叶斯统计学与经典统计学的差别自安于是否利用了先验信息。贝叶斯统计在重视总体信息和样本信息的同时，加入了先验信息的收集、挖掘和加工，使它量化，形成先验分布，加入先验分布，以提高统计推断的质量。