极大似然估计

极大似然估计

1 独立同分布

概率统计中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量被称作独立同分布(independent and identically distributed (i.i.d.))。

随机变量$X_1$和$X_2$独立，是指$X_1$的取值不影响$X_2$的取值，$X_2$的取值也不影响$X_1$的取值。
随机变量$X_1$和$X_2$同分布，意味着$X_1$和$X_2$具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差；也就是说，若随机变量$X_1$和$X_2$是同类型分布，且分布参数完全相同，则$X_1$和$X_2$一定同分布。

比如实验条件保持不变，抛硬币的一系列正反面结果就是独立同分布的。

2 似然函数

统计学中，似然函数就是关于统计模型参数的函数,在参数估计中扮演着重要角色.

给定输出$x$时，关于参数$θ$的似然函数$L(θ|x)$（在数值上）等于给定参数$θ$后变量X的概率：

$$L(θ|x)=P(X=x|θ)$$

在教科书中，似然常常被用作概率的同义词。但是在统计学中，二者有截然不同的用法。
概率描述了已知参数时的随机变量的输出结果.
似然则用来描述已知随机变量输出结果时，未知参数的可能取值。
例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

3 离散和连续的似然函数

离散型概率分布
假定一个关于参数 θ