最大后验估计_参数估计之贝叶斯估计简介

最近机器学习很是火热，贝叶斯估计是机器学习里最基本的理论，今天就来简单介绍一下。

一、最大似然估计与无偏估计回顾

如果大家学习过概率统计应该知道最大似然估计和无偏估计两种参数估计的方法，而贝叶斯估计也是一种参数估计的方法，不同之处在于，贝叶斯估计需要先验信息来帮助我们估计。不知道大家当初是怎么学最大似然估计和无偏估计的，对于我自己来讲，说实话学完真不知道这两方法是干什么的，最后也就套一套老师讲的做题套路应付了考试。好了不说废话，先来复习一下参数估计到底干了一件什么事。

假设我们现在有一组观测数据X1，X2...,Xn，现在我们用一组参数

...

来描述这组数据（可以是期望、方差等参数），若在知道这组数据的分布形式（比如正态分布）的情况下去推测这组数据的期望等参数就叫做参数估计，若不知道分布形式则是非参估计。下面简单回顾一下学过的无偏估计和最大似然估计。

无偏估计是通过无偏性

作为筛选条件来估计参数，比如对于服从正态分布的的一组数据

就是其期望值

的无偏估计。而最大似然估计如同它的名字一样是使概率最大，那么是使什么东西的概率最大呢？其实是使

的概率最大，

是

的观测数据。若这组数据服从独立同分布的话，那么可以得到似然函数

将这个式子求对数则称为对数似然函数

，满足

取到最大值时的参数

的值就是最大似然估计的结果。

二、贝叶斯估计

再介绍贝叶斯估计之前先复习一下在概率统计中学过的贝叶斯公式（离散形式）：

叫做后验概率，

是先验分布。下面我们举个例子说明一下这两个概念。

假如现在我们要估计一枚硬币正面朝上的概率

，现在做了五次抛硬币的实验发现这五次结果都是硬币正面朝上。现在如果我们使用最大似然估计，我们将会得到正面朝上概率为1的结果，这明显是违背常理的。如果我们使用贝叶斯估计，可以先根据已知的信息来帮助估计，比如硬币正面朝上的概率应该在1/2上下，我们就可以先给出硬币正面朝上的概率

服从均值为1/2的正态分布，这个就是我们给出的先验分布。而我们要求的其实是根据这五次实验结果得到的硬币正面朝上的概率分布，这个就是我们所说的后验概率分布。

上面的例子说明，我们通过贝叶斯估计得到的是某种概率分布，而非某一个具体值。如果我们得到的后验分布范围较窄，估计值的准确度就较高。反之，如果后验分布的范围较广，准确度就较低。下面是两种后验分布示意图：

第一个图的参数估计可信度较高

下面给出一个具体例子：

某种硬币正面向上的概率为R，且抛掷n次的结果都是正面向上。R的先验分布的概率密度函数如下。试求R的后验分布。

R的先验分布

设正面向上的次数为S，R的后验分布的概率密度函数可使用连续型的贝叶斯公式求得：

它的条件期望为：

如果使用贝叶斯估计，现在再计算一下之前连续五次硬币朝上之后的R=7/9，这个答案比最大似然估计给出的答案明显要好。