最大似然法

要利用最大似然法，我们首先需要明白什么是似然函数，然后再来讲解如何最大，那么到底什么东东是似然函数呢？下面我们来讲解一下哈！

likelihood（似然），在英语中和probability（可能）可以互换，所以我们可以猜想这个东西是关于概率的，那为什么不用probability呢？因为在英语中，并不是所有在0，1之间的数都可以称为概率的，所以作者想表达的是，这个词和probability有关系，但又不完全一样，似然函数L(θ|x)=f(x|θ)，关于联合样本值X下关于未知参数θ的函数，这里θ是指未知参数，它属于参数空间！这里f(x|θ)是一个密度函数，表示给定θ下关于联合样本值x的联合密度函数！L(θ|x)表示的是在给定样本x时，哪个参数θ使得x出现的可能性多大，这种学派认为样本的出现一定服从某种分布；而f(x|θ)表示在参数θ取值为多少时，给定样本x出现的概率密度；

最大似然估计，即现在你已经拿到了很多的样本，然后统计学认为样本的出现必然服从某种分布，所以我们现在需要找到符合样本分布的参数，使得前面已经出现的样本的发生概率最大，这时候需要求所有样本的联合概率分布，是个连乘数，通过取对数就变成了联合求和，这时候通过对参数求导，使其为0，通过联立方程组，便可以得到参数的值！！！

举个栗子：
抛硬币10次，其中正面朝上的次数为8次，反面朝上的次数为2次，其服从(n,p)的二项分布，我们可以写出其似然函数L(p;x)=p^8*(1-p)^2，通过最大化似然函数的值（使得已知样本出现概率最大，因为它实际已经出现了），便可以得到预期的p，这就是似然估计的概念；
刚这个是属于简单的似然估计，如果我们现在要求一个服从高斯分布的参数值，应该怎么做，还是同样的方法，写出似然函数，似然函数就是其对应的L(θ;x)，是概率密度函数之积（概率密度函数中有不同的x值），因为这样不好求解，所以我们采用对其求对数，不会影响单调性，转化为加法运算，然后通过对待求解的参数求偏导，进而得到最理想的参数值！
最大似然估计（通过求解最大的似然函数，得到可能性最大的θ作为θ的估计值）：
1）写出最大似然估计表达式，一般为log-likelihood，方便计算；
2）对每个参数θ求导使其为0，然后得到对应的参数值。

PS:
离散型随机变量和连续型随机变量的区别在于：离散型随机变量的取值都可以列举出来，而连续型随机变量的值无法穷举出来！
1. 离散型随机变量：

概率函数：表示取不同值时候所对应的概率，pi=P(x=xi);
概率分布函数：又叫做累积概率函数，F(x)=P(X<=xi)=∑pi(X<=xi);

1. 连续性随机变量：

概率密度函数（类似于离散型变量的概率函数）：表示当变量取在F(x,x+h),当h->0时候的，单位长度内的概率；
        ，这里F(x)值得是概率分布函数，然后概率密度函数就可以代表离散型随机变量的概率；
概率分布函数：是连续性随机变量的累积概率函数F(x)。

详见：
最大似然部分：
最小二乘与最大似然估计之间的关系
概率部分：
应该如何理解概率分布函数和概率密度函数？