极大似然估计MLE 的理解及代码

极大似然估计

一、离散型统计模型
$$\mathbf{L}\left(\mathbf{\theta }\right)=\prod _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{P}}_{\mathbf{\theta }}\left({\mathbf{X}}_{\mathbf{i}}={\mathbf{x}}_{\mathbf{i}}\right)$$
二、连续型统计模型
$$\mathbf{L}\left(\mathbf{\theta }\right)=\prod _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{P}}_{\mathbf{\theta }}\left({\mathbf{X}}_{\mathbf{i}}={\mathbf{x}}_{\mathbf{i}}\right)$$

似然函数的直观意义就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值寻 $\theta$
那么要怎么寻找与数据的匹配程度呢？

这里举一个例子：假设一个盒子里有10个球，3个白球，7个红球，进行有放回的抽取，那么我们可以知道抽到白球的概率$\theta$为3/10，抽到红球的概率为7/10。但是这里只是我们的直觉，我们的直观的感受，但是我们要找到一个理论来描述我们这个直觉，那应该怎么做呢？这就用到了极大似然估计。

x	白球	红球
p	$\theta$	1- $\theta$

这里假设一共有n个球，其中白球有$n_1$个，红球有$n_2$个，那么我们的直觉告诉我们
直觉：$\theta$=$n_1$/n

那么带到公式里面去，就得到：
$$\mathbf{L}\left(\mathbf{\theta }\right)={\mathbf{\theta }}^{{\mathbf{n}}_1}{\left(1-\mathbf{\theta }\right)}^{{\mathbf{n}}_2}$$
好，现在似然函数写出来了，我们就要寻找使$L(\theta )$取得最大（最趋近于1的时候）的时候$\theta$的取值，这里就用到高数里的求偏导。
但是这个式子是相乘的求偏导比较复杂，我们取对数，使其转成相加的就更好求导。
$$\ln \left(\mathbf{L}\left(\mathbf{\theta }\right)\right)=\ln \left({\mathbf{\theta }}^{{\mathbf{n}}_1}{\left(1-\mathbf{\theta }\right)}^{{\mathbf{n}}_2}\right)$$
$$\ln \left(\mathbf{L}\left(\mathbf{\theta }\right)\right)={\mathbf{n}}_1\ln \mathbf{\theta }+{\mathbf{n}}_2\ln \left(1-\mathbf{\theta }\right)$$
$$\frac{\mathbf{d}\ln \left(\mathbf{L}\left(\mathbf{\theta }\right)\right)}{\mathbf{d}\mathbf{\theta }}=\frac{{\mathbf{n}}_1}{\mathbf{\theta }}-\frac{{\mathbf{n}}_2}{1-\mathbf{\theta }}=0$$
$$\hat{\mathbf{\theta }}=\frac{{\mathbf{n}}_1}{{\mathbf{n}}_1+{\mathbf{n}}_2}=\frac{{\mathbf{n}}_1}{\mathbf{n}}$$

那么这里就得出$\theta$与我们的取直觉相符合了