最大似然估计

先贴一下我的参考：维基百科 东北师范大学课件 知乎

由于年代久远，所以以前学的概率全忘了，所以复习下。首先，回想下统计学的核心，以样本去估计整体，我为什么要去求得这个最大似然估计，
例如：我有一个黑盒子，盒子里放了200个球，我次拿出一个，记录颜色，然后放回，摇匀，其中8个黑球，2个白球，同时，设拿到黑球的概率为${p}$。这时，我所掌握的信息就是：每次拿出的不同的球的概率是相等的，即样本相互独立且同分布，那么可以记这次事件发生的概率：$P(黑=8)=p^8 * (1-P)^2$(称为似然函数) ,通过这，我想知道$p$到底是多少呢？
这便是问题的出发点，由已知的这些资料去探知整体的概率。
因为$P(黑=8)$已经出现了，所以我们要让它最大，所以，求偏导令其等于0，得出$p = 0.8$,所以得出最符合$p$的值为0.8。
根据其他的资料，我们可知最大似然估计的一般求解过程：
　　（1） 写出似然函数；
　　（2） 对似然函数取对数，并整理；
　　（3） 求导数 ；
　　（4） 解似然方程
第二步只是为了方便求导而存在的。

上面只是离散的例子，下面举一个连续分布的例子(记住，我们是来求具体的p的)：
现在有 n个样本服从正态分布，即

$$P(x) = \frac{1}{\sqrt{2\pi}\sigma}e(-\frac{(x-\mu)^2}{2\sigma^2})$$
求似然函数

$$L(\mu,\sigma^2) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}e{(-\frac{(x-\mu)^2}{2\sigma^2})}=(2\pi\sigma^2)^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)}$$
求对数
$$logL(\mu,\sigma^2)=-\frac{n}{2}log(2\pi)-\frac{n}{2}log(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2$$
求偏导，得似然方程组
$$\begin{cases} \frac{\partial logL(\mu,\sigma^2)}{\partial\mu}=\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu)=0, \\ \frac{\partial logL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^{n}(x_i-\mu)^2=0, \end{cases}$$
由第一式解得
$$\mu.=\bar x=\frac{1}{n}\sum_{i=1}^{n}x_i$$
将其带入第二式
$$\sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^2$$
得似然方程组有唯一解 $(\mu.，\sigma^2)$，是否为极大值呢？将他们带入似然函数看看就知道啦！