常用概率分布的最大似然估计与矩估计及优良性比较

一、点估计、最大似然估计与矩估计

总体的定义是某一个问题的研究对象的全体。总体的每个成员称为个体。从总体中随机抽查一个个体，这个个体的某个数量指标X是一个随机变量。这样，对总体的某个数量指标的研究就转变到了对随机变量X的分布和数字特征的研究。
设T是一个n元函数，则样本$X_1,X_2,X_3,...,X_n$的函数$T(X_1,X_2,X_3,...,X_n)$也是随机变量，称为统计量。统计量的自变量必须都来自样本而不包含任何其他未知的量，特别是总体分布的参数。
如果总体X有某一形式的分布，分布依赖于未知参数$\theta (\theta =({\theta }_1,{\theta }_2,{\theta }_3,...,{\theta }_n))$，$\theta$的取值范围为集合$\Theta$,则集合$\Theta$称为参数空间。
如果取统计量$\hat{\theta }=\hat{\theta }(X_1,X_2,X_3,...,X_n)$或它的值$\hat{\theta }=\hat{\theta }(x_1,x_2,x_3,...,x_n)$作为未知参数$\theta$的估计，则称$\hat{\theta }=\hat{\theta }(X_1,X_2,X_3,...,X_n)$是$\theta$的估计量，$\hat{\theta }=\hat{\theta }(x_1,x_2,x_3,...,x_n)$是$\theta$的估计值。
$$设总体X的密度函数或概率质量函数为p(x;\theta ),\theta \in \Theta 为未知参数，$$
$$X_1,X_2,X_3,...,X_n为来自总体的样本，其观察值为x_1,x_2,x_3,...,x_n$$
$$令L=L(x_1,x_2,x_3,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i,\theta )$$
$$当\theta 固定时，作为x_1,x_2,x_3,...,x_n的函数，L就是随机向量(X_1,X_2,X_3,...,X_n)的密度函数$$
$$当x_1,x_2,x_3,...,x_n固定时，作为\theta 的函数，称L为(x_1,x_2,x_3,...,x_n)的似然函数$$
$$如果似然函数L=L(x_1,x_2,x_3,...,x_n;\theta )在\theta =\hat{\theta }达到最大值，则称\hat{\theta }是参数\theta 的最大似然估计$$
而将随机变量X的总体矩表示为其分布参数的函数，再将参数表示为总体矩的函数，最后用样本矩代替这个函数中的总体矩而得到参数的估计，这样的点估计称为矩估计

二、离散型随机变量的分布

1、伯努利分布/两点分布(Bernoulli distribution)

2、二项分布(Binomial distribution)

3、几何分布(Geometric distribution)

4、负二项分布(Negative binomial distribution)

5、泊松分布(Poisson distribution)

三、连续型随机变量的分布