机器学习概率知识补充——高斯分布(1)

在机器学习中，会接触到大量的概率分布，掌握这些概率分布的数学原理是十分重要的，下面介绍其中最为常见的高斯分布，通过极大对数似然来估计其参数，然后证明其参数为有偏估计或无偏估计。以下内容是我学习时的一些笔记整理而成，为了方便大家学习，我在一些不怎么直白的推导步骤上加上了说明，当然这对于牛逼的大佬来说完全没必要，但是想到我当初刚开始学习时就有这方面的困扰，加上说明希望对大家有所帮助。

我们以一维高斯来说明问题，假设有数据：

则极大似然估计为：

本文介绍的为一维高斯，所以令数据xi维度R^p中p=1，则参数θ为：

下面给出一维高斯分布的表达式:

我们把一维高斯表达式带入极大似然(MLE)中并写成对数似然形式为：

使用极大对数似然来求解高斯分布的参数，先求均值：

在上式中对均值求偏导，解得均值估计量为：

已知定义估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，下面我们证明均值估计量为无偏估计：

由上述证明可知，μ_MLE为无偏估计。

下面通过同样的方法求方差的估计量并证明其为有偏估计量：

在上式中对方差求偏导，解得方差估计量为：

下面证明方差估计量为有偏估计，把之前求得的均值估计量带入上式：


所以方差估计量为有偏估计。
无偏估计方差应表示为：

至此，使用了对数极大似然估计求得了一维高斯分布的参数，并且分别证明了其有偏或无偏性。无偏估计的意义是在多次重复下，它们的平均数接近所估计的参数真值。而有偏估计是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值，相关更深入的内容可自行查阅资料。如果哪里有说的不对的地方，还请大家批评指正。

参考资料：
https://github.com/shuhuai007/Machine-Learning-Session