伯努利模型的极大似然估计和贝叶斯估计

  定义随机变量A为一次伯努利试验的结果，$A$的取值为[0,1]，概率分布为$P(A)$:$$\begin{gathered} P(A=1)=\theta \\ P(A=0)=1-\theta \end{gathered}$$下面分别使用极大似然估计和贝叶斯估计来估计$\theta$。

1. 极大似然估计
   $$L(\theta )=\prod _{i=1}^{n}P(A_i)={\theta }^k(1-\theta {)}^{n-k}$$

$A_i$代表第$i$次随机试验

$$\begin{array}{rl}logL(\theta )& =log\prod _{i=1}^{n}P(A_i)=log{\theta }^k+log(1-\theta {)}^{n-k}\\ & =klog\theta +(n-k)log(1-\theta )\end{array}$$
对公式两边同时求导，并求当导数等于零时的$\theta$值，如下
$$\frac{\partial L(\theta )}{\partial \theta }=k\cdot \frac{1}{\theta }+(n-k)\cdot \frac{-1}{1-\theta }$$
$令\frac{\partial L(\theta )}{\partial \theta }=0$，可得$\theta =\frac{k}{n}$。此时$\theta$满足$\theta =\underset{\theta }{\mathrm{argmax}}L(\theta )$。

2. 贝叶斯估计
   $$P(\theta |A_1,A_2,\dots ,A_n)=\frac{P(A_1,A_2,\dots ,A_n|\theta )\cdot \pi (\theta )}{P(A_1,A_2,\dots ,A_n)}$$

  根据观察到的结果修正$\theta$,也就是假设$\theta$是随机变量，$\theta$服从$\beta$分布，有很多可能取值，我们要取的值是在已知观察结果的条件下使$\theta$出现概率最大的值。
$$\begin{array}{rl}\theta & =\underset{\theta }{\mathrm{argmax}}P(A_1,A_2,\dots ,A_n|\theta )\cdot P(\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\prod P(A_i|\theta )P(\theta )\\ & =\underset{\theta }{\mathrm{argmax}}{\theta }^k(1-\theta {)}^{n-k}{\theta }^{a-1}(1-\theta {)}^{b-1}\end{array}$$

求解同上，得$\theta =\frac{k+(a-1)}{n+(a-1)+(b-1)}$,其中$a,b$是$\beta$分布中的参数$\beta (\theta ;a,b)=\frac{{\theta }^{a-1}(1-\theta {)}^{b-1}}{C}$,$C$为常数，选定$a,b$后就可以确定$\theta$。