对极大似然估计的理解

参数估计

随机变量X属于某种分布，这样的分布是可以用概率函数表示出来的

$p(X=x)=f(x)$

也就是说，要计算一个具体的x的概率，只需将x作为函数f的输入求值即可。

常见的分布的概率函数有：

两点分布：$f(x)=p^x(1-p)^{(1-x)}$，p又是什么呢，这里很容易引起混淆，它是x=1的概率，注意f(x)并不等于1，它是x取某值时的概率，而p是x=1的概率。

可以认为p是概率函数的参数，当p已知时，f(x)是x的函数，当x已知（通过实验得到了很多的x）时，f(x)就是p的函数了，意思就是通过很多次实验可以求出p（或近似于真理的估计值）。

举例来说，我们做无穷次（实际不可能），得到的x都是1，那你自然会想p就是百分百（=1），如果有一半是1一半是0，那显然取p=0.5是合理的。

这种用做实验的方式来估算既定概率函数的参数的方法就叫参数估计。

再举例来说明参数估计，我们看看均匀分布

$$f(x)=\left\{\begin{matrix} =\frac{1}{b} & \text{when} &0 < x < b \\ =0& \text{else} \end{matrix}\right. \tag{均匀分布的概率密度函数}$$

已知b，那求任意x的概率都很简单，只需看x在不在(0,b)里面即可。如果现在不知道b，就可以做很多次实验得到很多的x，最后对b的估计就是max(x)

极大似然估计

一些有直观意义的概率分布，我们通过直觉就能估计参数，但是不那么直观的分布，怎么做推广呢。

n次实验得到n个观测值，假设实验独立且观测值服从同一个分布，我们可以把它们的联合概率写出来：

L=f(x1,x2,...,xn)=f(x1)∗f(