补数学基础之高斯分布——有偏估计、无偏估计

上一篇介绍了高斯分布在一维情况下的极大似然估计
我们接上篇，通过极大似然估计得到的两个参数值为例，来看下它们是有偏的还是无偏的。

首先来看下有偏估计跟无偏估计的定义

定义

有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。
注意看，它的期望不等于待估参数的真实值就是有偏，相等就是无偏~

接上篇我们的极大似然估计两个参数：

我们来判断这两个参数到底是有偏还是无偏就变成判断两个参数的期望是否等于他们本身：

首先来看μ，它的期望很简单，就是它的均值，所以它是无偏的~

再来看σ ，先把σ 的期望化简一下：

所以用极大似然估计的σ是有偏的，比理想的值要小一点。。。。
所以真实的无偏估计应该是：

所以，这个极大似然估计实际上是点估计，会造成一定的偏差~

最后，那些对方差不太熟的小伙伴回去看看概率论的课本~

方差是一种特殊的期望，被定义为：
Var(x)=E((x−E(x))2)Var(x)=E((x−E(x))²)
展开表示：反复利用期望的线性性质，可以算出方差的另一种表示形式：
Var(x)=E((x−E(x))²)=E(x²)−(E(x))²