补数学基础之高斯分布——极大似然估计

高斯分布

就是我们常说的正态分布，也叫常态分布，名字有很多~~后面统一叫高斯分布。

图形非常的常见~
最简单的，人类的身高分布，学习成绩这种，基本都服从于高斯分布。

一维高斯分布：
若随机变量X服从一个位置参数为μ 、尺度参数为σ的概率分布的概率密度函数如下：

μ ——均值
σ——标准差
则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作X~N(μ，σ²) ，读作X服从N(μ，σ²) ，或X服从高斯分布。

高斯分布先到这里，公式推导详情回去看概率论课本。

极大似然估计

第一次看这个名字有点懵，完全不懂要表达啥，但是看了他的英文解释：Maximum Likelihood Estimate，MLE 最大可能性估计，是不是好理解很多。

它主要作用是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

当“模型已定，参数未知”时，通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

通过做一个例题来了解一下极大似然估计：

例题：

假设一批电池的寿命符合高斯分布，概率密度就上面这个式子吧：

σ，μ >0均为未知参数，从这批电池中随机抽取3件进行寿命实验，失效时间分别是4，5，7
求σ，μ的最大似然估计。

首先我们每个数据点都是独立于其他数据点生成的。如果事件（即电池寿命测试）是独立的，那么观察所有数据的总概率就是单独观察到每个数据点的概率的乘积（即边缘概率的乘积）
1.写出样本联合概率密度方程：

只要求使得L(μ,σ)取最大值的μ,σ就好了。。
但是上面的函数求起来非常的困难，所以我们转换为对数似然函数

2.对数似然函数如下：

接下来就是我们熟悉的二元方程求极值的问题了，考研必考~

3.先找平均值 μ，我们对函数求 μ 的偏导：

解得μ = 5.333
同理：找σ² 对函数求σ的偏导：

然后把μ代入求σ即可~
解得σ = 1.85

想一想高斯分布的图形就明白了，似然方程一定是唯一解，而且一定是最大值~

总结一下：

求最大似然估计最重要的两步：
（1）写出似然函数及对数似然函数；

对数似然函数：

（2）求偏导解方程；