极大似然估计

贝叶斯公式

$$P(A|D)=\frac{P(D|A)P(A)}{P(D)}$$
给定某些样本D，在这些样本中计算某结论 $A_{1}$、 $A_{2}$… $A_{n}$出现的概率，即 $P(A_{i}|D)$
在给定样本的情况下，哪一组参数出现的概率最大，我们就认为哪组参数最有可能出现
$$maxP(A_{i}|D)=max\frac{P(D|A_{i})P(A_{i})}{P(D)}=max(P(D|A_{i})P(A_{i}))$$
$P(D)$是样本发生的概率，样本已经改定所以， $P(D)$是常数
我们在认为在没有其他的条件下， $P(A_{i})$近似相等，得到 $max(P(D|A_{i}))$，即哪一个参数使得样本最大可能的发生，或者说是哪个参数使样本发生的概率最大
$$max(P(A_{i}|D))\rightarrow max(P(D|A_{i}))$$

极大似然估计

设总体分布为$f(x,\theta)$，$X_{1}$,$X_{2}$,$X_{3}$…$X_{n}$为该总体采样得到的样本，因为$X_{1}$,$X_{2}$,$X_{3}$…$X_{n}$独立同分布，于是它们的联合密度函数为：

$$L(x_{1},x_{1}...x_{n};\theta_{1},\theta_{2}...\theta_{k})=\prod_{i}^{n}f(x_{1};\theta_{1},\theta_{2}...\theta_{k})$$
上式为样本发生的概率，或者说哪个参数使取的的样本与真实的样本最相似，即哪个参数使样本发生的概率最大，或者说是在 $\theta$的所有的可能取值中，找到一个能使数据出现的可能性的最大的值。
这里 $\theta$被看做是固定但未知的参数，反过来因为样本已经存在，可以看成 $x_{1},x_{1}...x_{n}$是固定的， $L(x,\theta)$是关于 $\theta$的函数，即似然函数
求参数 $\theta$的值，使得似然函数取极大值，这种方法就是 极大似然估计

极大似然估计具体实践

在实践中由于求导数的需要，往往将似然函数取对数，同时连乘容易造成下溢，通常使用对数似然，若对数似然函数可导，可通过求导的方式，解下列方程组，得到驻点，然后分析该点是极大值点

$$logL(\theta_{1},\theta_{2}...\theta_{k})=\sum_{i}^{n}logf(x_{1};\theta_{1},\theta_{2}...\theta_{k})$$
$$\frac{\partial L(\theta)}{\partial\theta_{i}}=0,i=1,2...k$$

极大似然估计实例

找出与样本分布最接近的概率分布模型
10次抛硬币的结果是：正正反正正正反反正正
假设$p$是每次抛硬币结果为正的概率，则得到这样结果的计算概率是：

$$P=p^{7}(1-p)^{3}$$
最优解为：$p=0.7$
抛硬币的过程中，进行了$N$次独立实验，$n$次朝上，$N-n$次朝下，假设朝上的概率为$p$，使用对数似然作为目标函数：
$$f(n|p)=log(p^{n}(1-p)^{N-n})\rightarrow h(p)$$

$$\frac{\partial h(p)}{\partial p}=\frac{n}{p}-\frac{N-n}{1-p}\rightarrow 0$$
$$p=\frac{n}{N}$$

正太分布的极大似然估计

若给定一组样本$X_{1}$,$X_{2}$,$X_{3}$…$X_{n}$，已知它们来自于高斯分布$N(\mu,\sigma)$，试估计参数$\mu,\sigma$
按照MLE的过程分析
高斯分布的概率密度函数：

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^{2}}}$$
将 $X_{i}$的样本 $x_{i}$带入，得到：
$$L(x)=\prod_{i}^{n}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_{i}-\mu)^2}{2\sigma^{2}}}$$
取对数
$$l(x)=log\prod_{i}^{n}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_{i}-\mu)^2}{2\sigma^{2}}}$$
$$=\sum_{i}^{n} log\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_{i}-\mu)^2}{2\sigma^{2}}}$$
$$=(\sum_{i}^{n}log\frac{1}{\sqrt{2\pi}\sigma})+(\sum_{i}^{n}-\frac{(x_{i}-\mu)^2}{2\sigma^{2}})$$
$$=-\frac{n}{2}log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i}^{n}(x_{i}-\mu)^2$$
将目标函数对参数 $\mu,\sigma$分别求偏导，很容易得到 $\mu,\sigma$的式子：
$$\mu=\frac{1}{n}\sum_{i}^{n}x_i$$
$$\sigma^2=\frac{1}{n}\sum_{i}^{n}(x_i-\mu)^2$$
上述结论与矩估计的结果是非常一致的，并且意义非常明显，样本的均值为高斯分布的均值，样本的伪方差为高斯分布的方差，经典意义上的方差，分母是 $n-1$，在似然估计中求得方差是 n n <script type="math/tex" id="MathJax-Element-75">n</script>