对于伯努利模型的极大似然估计和贝叶斯估计的讨论

伯努利模型

       伯努利模型又名0-1分布或者两点分布，是一个二元随机变量的概率分布模型。该模型的随机变量取值为0或1，当单次随机试验为成功时，随机变量取1，为失败时取0。伯努利模型的值域是离散的，取值范围为[0,1]。当假设单次随机试验的成功概率为p时（p∈[0,1]）,其失败的概率则为:

则对于每个观测到的数据，该模型的似然函数可表达为：

对于事件x，模型的期望值为：

其方差为：

 

化简后可得：

极大似然估计

       极大似然估计（Maximum Likelihood Estimation）是一个用来估计概率模型的参数的方法。该方法时通过最大化观测数据的似然函数，找到使得观测数据出现的概率最大的参数值，即用已知的数据集合反向推导最大可能导致此数据集的参数值。在伯努利模型中，极大似然估计的运用是通过最大化结果为成功（或为1）的概率的似然函数来估计参数p的值，从而估计结果为1的概率。

       对于n次的独立事件的观测数据中，统计结果为成功的次数记为k，则似然函数可表达为：

抑或者：