最大似然估计

现在简单写写最大似然估计。
最大似然估计是一个概率估计问题，譬如已知一个数据空间$X$，数据$X$中的每一个样本都有n为特征。有样本整体$x=[x_1,x_2,x_3,x_4,.....,x_n]$。同时了有这样的先验知识，知道数据空间$X$里面所有的样本，都符合一个的概率密度函数(prob density function)，譬如均匀分布，或者高斯分布等。
现在假设样本都符合均匀分布，那么概率密度函数是
$$f(x)=\left\{\begin{array}{cc}\frac{1}{b-a}& x\subset [a,b]\\ 0& x\subset (-\infty ,a)\cup (b,\infty )\end{array}\right\}$$
那么现在就需要求取概率密度函数中的$a$,$b$的值。
现在已知有$n$个样本，全部带入概率密度函数。并将所有的概率相乘。
就得到$$y=f(x_1)\ast f(x_2)\ast ...\ast f(x_n)$$
我们在计算上面的公式时，一般都会取一个$log$值，也就是$log-likelyhood$最大。
很显然，$log(y)$这个值最大，那么就让所有的样本的概率值都不为$0$，这样就很容易得到
$$a=\underset{x_i}{\min }(x_1,x_2,x_3,x_4,.....,x_n)$$
$$b=\underset{x_i}{\max }(x_1,x_2,x_3,x_4,.....,x_n)$$
假如概率密度函数为高斯分布，
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中均值为$\mu$，方差为${\sigma }^2$。
现在有样本$x=[x_1,x_2,x_3,x_4,.....,x_n]$，需要使所有样本的$log-likelyhood$最大。
这样令$y=\log (f(x_1)\ast f(x_2)\ast ...\ast f(x_n))$，这样就是所有的概率值的加和了。
$$y=\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x_1-\mu {)}^2}{2{\sigma }^2})+...+\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x_n-\mu {)}^2}{2{\sigma }^2})$$
其中$x=[x_1,x_2,x_3,x_4,.....,x_n]$是已知的，让$y$最大，那就分别代入拉格朗日的算子，分别求导就好了。求出$\sigma$,$\mu$。
以上就是极大似然估计。

简单记录一下上面的公式，后面可能会用到。
公式1
$$f(x)=\left\{\begin{array}{cc}\frac{1}{b-a}& x\subset [a,b]\\ 0& x\subset (-\infty ,a)\cup (b,\infty )\end{array}\right\}$$

$$
f(x)=
    \left \{ 
      \begin{matrix} 
        \frac{1}{b-a}&x\subset[a,b]\\0&x\subset(-\infty,a)\cup(b,\infty)
      \end{matrix} 
    \right \}
$$

公式2：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

$$
f(x)=\frac{1}{\sqrt{{2\pi}}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2})
$$