极大似然估计

很长时间都知道极大似然估计这么个事，最令我头疼的时候是考研时，数学最后一题铁定是估计与假设检验，当时的策略就是背公式，能算出来就是胜利。然后到了研究生阶段，到处都能看到它的身影，由于不是数学专业出身，而且可能是上课听讲不认真等因素，对其一直是一知半解。在此我也只是说一下比较直白的理解，并不会摆很多公式。

首先，我们必须知道，统计理论里面的描述统计和推断统计。
描述统计，是我们从小就接触的，给你全部的数据，你给我算均值、方差等，你具有数据的全部信息，而我们需要用数据的一些特征来描述它，使其直观。
而推断统计下，我们并没有全部的数据，而我们想从这些能观察到的数据去推断所有数据的情况。

大数定理

假设我们有n个独立同分布的变量$X_1,X_2,X_3...X_n$,可以假设它们都遵从分布 $\mathcal X$，其平均值Z定义为$Z_n= \frac{X_1+X_2+X_3..+X_n}{n}$，因为$X_n$为随机变量，所以Z也为随机变量，而期望值$\mu$可以看作是对分布$\mathcal X$而言，它是一个客观存在的,即对于所有$X_n$都有$E(X_n)=\mu$.所以对于随机变量Z有$E(Z_n)=\mu$。
所以我们由观测值算得的方差为$V[Z_n]=V[\frac{X_1+X_2+X_3..+X_n}{n}]=\frac{\sigma^2}{n}$，当n趋近于无穷大时，方差为0(方差为0表示不含随机性，即平均值不会产生波动)，平均值收敛于$\mu$。这就是所谓的大叔定理，即我们通过观察值可以推断出期望值，前提是随机变量遵从i.i.d。（当然涉及到随机变量的东西都很恼火，所以说$X_n$的理解非常重要）

极大似然估计

首先要确定，我们要估计的是什么，我们用什么来估计。

我们用观测到的样本值来估计该分布的模型
因为我们可以假设实际观测值与真实分布相关，并且观测值取值随机所以得到的估计量也是随机。

其中，没有给出具体的函数形式的问题为非参数统计，期望值与方差不确定但遵循正太分布的问题为参数统计问题。这里可以理解为，是否给出一个分布的模型。

然后下面就要引出一个重要的东西
有限维数的向量值参数$\theta$，而我们就是要通过X（已有的观测值）来估计它。之前之所以不理解极大似然估计等一些估计方法，就是不理解$\theta$，就觉得莫名其妙为什么多了个参数给我。其实，$\theta$就是决定模型的参数。在对正态分布模型进行估计时$\theta=（\mu,\sigma）$,对于其他非正态分布模型，也是其关键参数。

设数据$X_1,X_2...X_n$的测定值为$x_1,x_2...x_n$
使该公式$P(X_i=x_i)$概率最大化的参数$\theta$就是最大似然估计，对这个地方的理解我觉得很重要，就是，我所估计的一个模型，需要最大可能性的表征（或者满足）我已测到的值。

然后就是对$P(X_i=x_i)$求对数似然$L(\theta)$，通过对$\theta$中各个参数求偏导因此可以得到满足$P(X_i=x_i)$的参数$\theta$，因此确定了分布模型。