极大似然估计

重新梳理一下，之前对极大似然估计的看法还是太浅了。极大似然估计比较简单，关键是弄清思想。

---

前言

之前说到极大似然估计，就会直接举例子说明，例如之前的文章关于GMM中的数学基础中就提到过。
例一，有两个完全一样的箱子，箱子甲中有99个黑球，1个白球，箱子乙中有99个白球，1个黑球。随意取一个球，结果为黑球，问黑球是从哪个箱子中取出的？
关于这个例子，人们猜测是从甲箱子中取出的。因为同样是100个球，但是甲箱子中有99个黑球，而乙箱子中有1个黑球。所以猜测更有可能是从甲箱子中取的。这种 想法就是“最大似然原理”
例二，一个猎人和一个从未打过猎的普通人一起去森林打猎，两人看到一只兔子，一声枪响，兔子死了。问是谁打死的兔子？
关于这个例子，人们的猜测是猎人打死的兔子。因为猎人经常打猎，而普通人没有打过猎。这种猜测就是“最大似然原理”

这样解释还是比较浅，今天从以下几个方面重新看极大似然估计

---

一、极大似然原理

1. 假设我们的抽样是理想正确的；
2. 概率大的事件在一次观测中更容易发生；
3. 在一次观测中发生了的事件其概率应该大；

这三点非常重要，一定要理解，极大似然估计就是围绕着极大似然原理来的。**结合实际来理解就是，你得到的那些样本，就是概率最大的。**不管你手里的数据是什么，用极大似然的思想，你手里的样本，就是概率最大的样本。

二、解决的问题

极大似然估计是解决概率生成模型的参数估计。
举个例子：如果对全国人身高做一下评估，有一个前提假设是人的身高属于正态分布，在正态分布中我们关心参数为：均值 和方差 ，那如何得到全国人身高的均值和方差呢？如果去挨个测量14亿人的身高其实是不太可能的。我们能做的就是随机的找一些不同年龄段、不同性别的人测量他们的身高，让他们的身高水平代表全国人民的身高水平，然后通过他们对全国人民身高的均值和方差做一下估计，我想这是每个人都能想到的！但是，为什么能让这些人的身高代表全国人的身高呢？
这里用到的就是极大似然的原理，我从全国人中随机抽取了n个人测量身高，对应一、极大似然原理的三条，被抽取的n个人他们的概率一定大，概率大的事件更容易发生。所以我们可以认为，被抽取的n个人的身高，就是全国人们大概率的身高，或者说全国人们的身高，大概率都在被抽取的n个人身高中。这样我就可以用这n个人的身高来代替全国人的身高。
现在我知道抽取的这n个人的概率一定是最大的了，且假设全国人身高服从正太分布，想知道这个正态分布就需要求它的均值和方差。这里均值跟方差就是我们想求解的未知参数，这个均值和方差我们就可以用极大似然估计来求。
已知正态分布的概率密度函数为：

求解步骤为：
step1 计算似然函数：

step2 似然函数取对数：

step3 求最值对应的参数：

令：

step4得到估计参数：

---

总结

在机器学习和深度学学习中由于给定的样本总是有限，所以我们希望用有限的样本数据的经验分布来代替真实数据的分布。概率生成模型的本质也就是通过有限的样本数据进行训练，得到生成模型，生成模型生成的数据最后全都符合真实数据的分布。