六大常用分布的矩估计和最大似然估计推导过程

矩估计和极大似然估计

矩估计基于辛钦大数定律：

当样本的容量足够大时，样本k阶距(A_k)收敛域总体k阶距(a_k)

样本的平均值去估计总体的均值(期望)

期望和均值

数学期望常称为“均值”，即“随机变量取值的平均值”之意，这个平均是以概率为权的平均，不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
(1)式，其实是平均值（期望是均值），对其求期望其实就是一个加权的过程，所以无论是哪种分布，都是E(x)=μ,而非X平均值=μ

方差：衡量一组数据离散程度的度量
$$S^2=\frac{1}{n}\sum _{i=1}^n(X-\mu {)}^2$$
误差分析：

• 因为X取得是样本，所以X的取值存在误差
• 因为我们事先是不知道是什么分布的，所以μ是不知道的，使用均值替代的话，也会出现误差

---

方差和修正方差的来源及其证明
$$\begin{gathered} S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n[(x_i-\mu )-(\bar{X}-\mu ){]}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n[(x_i-\mu {)}^2-2(x_i-\mu )(\bar{X}-\mu )+(\bar{X}-\mu {)}^2] \\ {S}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}\sum _{i=1}^n(x_i-\mu )(\bar{X}-\mu )+(\bar{X}-\mu {)}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-(\bar{X}-\mu {)}^2 \\ E(S^2)=E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-(\bar{X}-\mu {)}^2)={\sigma }^2-E((\bar{X}-\mu {)}^2) \\ E((\bar{X}-\mu {)}^2)=E({\bar{X}}^2-2\mu \bar{X}+{\mu }^2)=E({\bar{X}}^2)-E(\bar{X}{)}^2=D(X)=\frac{{\sigma }^2}{n} \\ E(S^2)={\sigma }^2-\frac{{\sigma }^2}{n}=\frac{n-1}{n}{\sigma }^2 \end{gathered}$$
由上可知S^2和σ^2是有微小差距的，所以对此做修正，得到的方差就是修正方差
$$\begin{gathered} E(\frac{n}{n-1}{S}^2)=\frac{n}{n-1}\frac{n-1}{n}{\sigma }^2={\sigma }^2 \\ \frac{n}{n-1}{S}^2=\frac{n}{n-1}\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \\ (S^{\ast }{)}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \end{gathered}$$
本质：使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)

---

估计均值
$$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}n\mu =\mu$$

$$\hat{u}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

估计方差
$${\sigma }^2=a_2-a_1^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=S^2$$

$${\hat{\sigma }}^2=S^2$$

---

0-1分布:只有一个未知参数，所以也只能估P的值

X	0	1
P	1-p	p

$$p(x=x_i)=(1-p{)}^{1-x_i}{p}^{x_i}$$

矩估计:
$$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}np=p$$

$$\hat{p}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

最大似然估计
$$L(p)=(1-p{)}^{{\sum }_{x_i=1}^n(1-x_i)}{p}^{{\sum }_{x_i=1}^n{x}_i}$$

$$lnL(p)=\sum _{x_i=1}^n(1-x_i)ln(1-p)+\sum _{x_i=1}^n{x}_{i}lnp$$

$$令：\frac{\partial lnL(p)}{\partial p}=-\frac{{\sum }_{x_i=1}^n(1-x_i)}{1-p}+\frac{{\sum }_{x_i=1}^n{x}_i}{p}=0$$

$$\hat{p}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

注：估计的P，其实表示的就是在n次试验下，出现1的次数的概率

---

泊松分布
$$P(x=x_i)=\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}$$
矩估计
$$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda =\lambda$$

$$\hat{\lambda }=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

注：E(x_i)=入的证明过程，其中使用到了泰勒公式进行变换
$$E(X)=\sum _{i=1}^{\infty }{x}_{i}P(x=x_i)=\sum _{i=1}^{\infty }{x}_i\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}=\lambda e^{-\lambda }\sum _{i=1}^{\infty }\frac{{\lambda }^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda }{e}^{\lambda }=\lambda$$
最大似然估计
$$L(\lambda )=\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}{e}^{-n\lambda }}{{\prod }_{i=1}^n{x}_i!}$$

$$lnL(\lambda )=\sum _{i=1}^n{x}_{i}ln(\lambda )-n\lambda -ln(\prod _{i=1}^n{x}_i!)$$

$$令：\frac{\partial lnL(\lambda )}{\partial \lambda }=\frac{{\sum }_{i=1}^n{x}_i}{\lambda }-n=0$$

$$可得:\hat{\lambda }=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

---

均匀分布
$$f(x)=\{\begin{array}{l}\frac{1}{b-a}a<x<b\\ 0其他\end{array}$$

注：这里有两个参数，分别是a和b，故需要至少列两个参数才能得到解

矩估计
$$\begin{gathered} E(X)={\int }_a^{b}xf(x)dx={\int }_a^b\frac{x}{b-a}dx=\frac{1}{2}(b+a)=\bar{X} \\ {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=S^2(下式原理) \\ \frac{1}{b-a}{\int }_a^b(x-\bar{X}{)}^{2}dx=\frac{1}{b-a}{\int }_a^b(x-\frac{1}{2}(b+a){)}^{2}dx=\frac{1}{12}(b-a{)}^2=S^2 \\ 解得：\{\begin{array}{l}{}_{\hat{b}=\bar{X}+\sqrt{3}S}^{\hat{a}=\bar{X}-\sqrt{3}S}\end{array} \end{gathered}$$
最大似然估计

常规的，列最大似然函数，然后求导令为零是求不出估计值。

---

指数分布

特点：无记忆性，可以用于描述机器寿命。
$$f(x)=\{\begin{array}{l}{}_{0其他}^{\lambda e^{-\lambda x}x>0}\end{array}$$
矩估计：
$$\begin{gathered} E(X)={\int }_0^{+\infty }\lambda x{e}^{-\lambda x}dx=\frac{1}{\lambda }=\bar{X} \\ \hat{\lambda }=\frac{1}{\bar{X}} \end{gathered}$$
极大似然估计
$$\begin{gathered} L(\lambda )={\lambda }^n{e}^{-\lambda {\sum }_{i=1}^n{x}_i} \\ lnL(\lambda )=nln\lambda -\lambda \sum _{i=1}^n{x}_i \\ 令：\frac{\partial (lnL(\lambda ))}{\partial \lambda }=\frac{n}{\lambda }-\sum _{i=1}^n{x}_i=0 \\ \hat{\lambda }=n\sum _{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}} \end{gathered}$$

---

正态分布
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
X~N(μ,σ^2)：
$$\{\begin{array}{l}{}_{\hat{\sigma }=S}^{\hat{\mu }=\bar{X}}\end{array}$$

---

写笔记难免有错误，烦请指正！如有疑问可加QQ:1372931501