概率与统计，参数估计（部分）

随机变量分类

• 离散型随机变量
• 连续型随机变量

随机变量的矩：
X是一个随机变量对于任何正整数n，定义
$E(X^n)=\int p(x)x^{n}dx$

• 一阶矩：n=1,E(X)期望（原点矩）
• 二阶矩：n=2,$E(X^2)-E(X{)}^2$方差 (中心矩)

特征函数：
${\varphi }_X(t)=E(e^{itX})$=${\sum }_{n=0}^{\infty }\frac{E(X^n)}{n!}(it{)}^n$

更多关于特征函数
协方差：（多个随机变量之间的关系）
X，Y为两个独立随机变量，协方差为0
$$E（x，y）={\int }_y{\int }_{x}xyp（x，y）dxdy=\int yp（y）\int xp(x)dxdy=\int yp(y)E(x)dy=E(x)\int yp(y)dy=E(x)E(y)$$

$$cov(x,y)=E(xy)-E(x)E(y)=0$$

x,y的相关系数（夹角cosα）
$$cov（x，y）/\sqrt{var（x）var（y）}$$

概率分布与特征函数的关系:
对于任何X，${\varphi }_x(t)都存在$
$\varphi (0)=E(e^0)=1,且\mid \varphi (t)\mid \le 1，\forall t$，
$\varphi (t)是一致连续函数$，
${\varphi }_X(t)={\varphi }_{-}X(t),所以如果X关于中心对称，那么{\varphi }_X(t)就是一个实函数$
$如果X的n阶矩存在，那么{\varphi }_X(t)至少n阶可微，并且E(X^n)=(-i{)}^n{\varphi }^{(n)}(0)$
$如果X，Y是两个独立随机变量，那么{\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t)$
$如果{\varphi }_X(t)={\varphi }_Y(t),那么X，Y服从同一个分布$
$如果X_n是一个随机变量序列，而且{\varphi }_{x_n}(t)逐点收敛于一个函数{\varphi }_{\infty }(t),如果{\varphi }_{\infty }(t)在0处连续，那么存在一个分布X_{\infty }(t),使得X_n按分布收敛于X_{\infty }(t)$

特殊分布的特征函数：
$独点分布p(a)=1,\varphi (t)=e^{iat}$
$两点分布p(-1)=p(1)=1/2,\varphi (t)=cos(t)$
$正态分布，概率密度函数f(x)=\frac{1}{\sqrt{2}\Pi }{e}^{-\frac{x^2}{2}},\varphi (t)=e^{-\frac{t^2}{2}}$
$泊松分布p(n)=e^{-\lambda }\frac{{\lambda }^n}{n!}，\varphi (t)=e^{-\lambda (1-e^{it})}$

重要极限：
$$li{m}_{n\to \infty }(1+1/n{)}^n存在，且定义e=li{m}_{n\to \infty }(1+1/n{)}^n，于是定义e^x=li{m}_{n\to \infty }(1+x/n{)}^n，li{m}_{n\to \infty }(1+x/n{)}^n=li{m}_{n\to \infty }[(1+x/n{)}^{n/x}{]}^x=li{m}_{n\to \infty }[(1+1/m{)}^m{]}^x=e^x$$

大数定律：

平均值收敛于期望

X是随机变量，μ是X的期望，$\sigma$是X的方差， { X k } k = 1 ∞ \{X_k\}_{k=1}^{∞} {Xk​}k=1∞​

是服从X的独立同分布随机变量，那么${\overline{X}}_n=\frac{{\sum }_{k=1}^n{X}_k}{n}$依概率收敛于μ。也就是说对于任何$\epsilon$>0有
$$\underset{x\to \infty }{\lim }P(\mid {\overline{X}}_n-\mu \mid >\epsilon )=0$$
因为X具有一阶矩，所以特征函数${\varphi }_X(t)存在一阶泰勒展开{\varphi }_X(t)=1+i\mu t+o(t)$,于是
$${\varphi }_{\overline{X}}(t)=E(exp(it\frac{{\sum }_{i=1}^n{x}_i}{n}))=\prod _{i=1}^{n}E(exp(itX/n))=(1+i\mu t/n+o(t/n{)}^n)$$
于是
$$\underset{n\to \infty }{\lim }{\varphi }_{\overline{X}}(t)=\underset{n\to \infty }{\lim }(1+i\mu t/n+o(t/n){)}^n$$
这就是独点分布的特征函数，所以$\overline{X}$按分布收敛于独点分布。
收敛于一个常数，因为$$\underset{x\to \infty }{\lim }P(\mid {\overline{X}}_n-\mu \mid >\epsilon )=0$$
$\overline{X}$收敛于一个常数，所以$\overline{X}$=μ，也就是验证了
平均值收敛于期望值

中心极限定理：

X是随机变量，$\varphi (X)$是X的特征函数， { X k } k = 1 ∞ \{X_k\}_{k=1}^{∞} {Xk​}k=1∞​

是服从X的独立同分布随机变量，那么
服从正态分布
$$z_n=\frac{\sqrt{x}}{\sigma }(\overline{x_n}\mu )$$
依分布收敛于正态分布N(0,1)
也就是说对于任何$\epsilon$＞0有
$$\underset{n\to \infty }{\lim }P(Z_n＜z)=\Phi (z),\forall z$$
其中$\Phi$是标准正态分布的分布函数。

x的二阶泰勒展开式
$$\varphi x（t）=1+i\mu t-\frac{\sigma }{2}{t}^2+o(t^2)$$
$$令Y=（x-\mu )/\sigma$$
$$E（Y）=E[\frac{x-\mu }{\sigma }]=\frac{1}{\sigma }E(x-\mu )=\frac{1}{\sigma }(E(X)-\mu =0$$
$$E(Y^2)=E(\frac{x-\mu }{\sigma }{)}^2=\frac{1}{{\sigma }^2}[E(X^2)-2\mu E(x)+{\mu }^2]=\frac{1}{{\sigma }^2}[E(X^2)-{\mu }^2]=\frac{1}{{\sigma }^2}{\sigma }^2=1$$
则，$E(Y)=0,E(Y^2)=1,于是有$
$${\varphi }_Y(t)=1-\frac{1}{2}{t}^2+o(t^2)$$
因为$Z_n=\sqrt{n}\overline{Y}$,所以
$${\varphi }_{Z_n(t)}=E(exp(it\sum _{i=1}^n{Y}_i/\sqrt{n}))=(1-\frac{1}{2n}{t}^2+o(t^2/n){)}^n$$
$Z_n=\sqrt{n}{\sum }_{i=1}^n{Y}_i,最后就是\frac{1}{\sqrt{n}}{Y}_i,把{\varphi }_Y(t)的t换成t/\sqrt{n}就是Z_n的函数方程$
于是
$$\underset{n\to \infty }{\lim }{\varphi }_{z_n}(t)=\underset{n\to \infty }{\lim }(1-\frac{t^2}{2n}+o(t^2/n){)}^n=e^{-\frac{1}{2}{t}^2}$$
是一个正态分布的特征函数，所以$Z_n$按分布收敛于正态分布。

参数估计

• 点估计
  矩估计
  极大似然估计
• 区间估计

点估计性质：

相合性

：当样本数量趋于无穷时，估计量收敛于参数真实值。
例：当我们求解参数 $\theta$的方程时，为什么最大值就是参数的值？
求${\theta }_0$,求极大值，就是要证明${\theta }_0$就是极大值。
最大化参数函数方程$l_x(\theta )$,也就是最大化$\frac{1}{n}{l}_x(\theta )$是一样的。
$$\frac{1}{n}{l}_x(\theta )=\frac{1}{n}\sum _{i=1}^n{l}_{x_i}（\theta ）=\frac{1}{n}\sum _{i=1}^n{l}_n(f_{\theta }(x_i))$$
这个无穷求和就收敛于期望（大数定律）
$$E（l_n(f_{\theta }(x))）={\int }_x{l}_n(f_{\theta }(x))f_{{\theta }_0}(x)dx$$
$$f_{\theta }(x)是一个函数，f_{{\theta }_0}(x)是个值$$
而$\hat{\theta }$是$\frac{1}{n}{l}_x(\theta )$的极大值点，所以$lim\hat{\theta }收敛于E（l_n(f_{\theta }(x))）的极大值点$
所以我们只需要证明${\theta }_0$确定是$E（l_n(f_{\theta }(x))）$的极大值点，因为$l_n(x)是个凹函数，根据琴生不等式我们有：$
$${\int }_x{l}_n(f_{\theta }(x))f_{{\theta }_0}(x)dx-{\int }_x{l}_n(f_{{\theta }_0}(x))f_{{\theta }_0}(x)dx={\int }_x{l}_n(f_{\theta }(x)/f{\theta }_0(x))f_{{\theta }_0}(x)dx\le l_n({\int }_x\frac{f_{\theta }(x)}{f_{{\theta }_0}(x)}{f}_{{\theta }_0}(x)dx)=ln({\int }_x{f}_{\theta }(x)dx)=ln(1)=0$$
所以：$E（l_n(f_{\theta }(x))）-E（l_n(f_{{\theta }_0}(x))）\le 0$
${\theta }_0就是E（l_n(f_{\theta }(x))的极大值点$

所以求解参数方程的极大值就是求参数的真实值。

无偏性

：对于有限的样本，估计量所符合的分布之期望等于参数真实值。
例：方差的估计：
$$E（\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2）=E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu +\mu -\overline{x}{)}^2)=E（\frac{1}{n}\sum _{i=1}^n(x_i-\mu {）}^2)-E((\mu -\overline{x}{)}^2)=E((x_i-\mu {)}^2)-E((\mu -\overline{x}{)}^2)={\sigma }^2-var((\overline{x}))\le {\sigma }^2$$
$$E((x_i-\mu {)}^2)=E(x_i^2-2\mu x_i+{\mu }^2)=E(x_i^2)-2\mu E(x_i)+{\mu }^2=E(x{)}^2-\mu 2={\sigma }^2$$
$$E(\frac{1}{n}\sum _{i=1}^n\frac{(x_i-\mu +\mu -\overline{x}{)}^2}{n})=\sum _{i=1}^n\frac{(x_i-\mu {)}^2}{n}+\sum _{i=1}^n\frac{(\mu -\overline{x}{)}^2}{n}+\sum _{i=1}^n\frac{2(x_i-\mu )(\mu -\overline{x})}{n}=E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2)+E((\mu -\overline{x}{)}^2)+(-2E(\mu -\overline{x}{)}^2)$$
$$E(2(\mu -\overline{x})\sum _{i=1}^n(\frac{(x_i-\mu )}{n})=E(2(\mu -\overline{x})(\overline{x}-\mu ))=-2E(\mu -\overline{x}{)}^2$$
所以我们倾向于低估${\sigma }^2$，那么我们低估的这个值$var((\overline{x}))$等于多少？

令$Y_i=X_i-\mu$,那么$\overline{x}-\mu =\overline{Y}$，所以$E((\mu -\overline{x}{)}^2)=E((\overline{Y}{)}^2)$
Y的特征函数是
$${\varphi }_Y(t)=exp(\frac{-t^2{\sigma }^2}{2})$$
所以
$${\varphi }_{\overline{Y}}(t)=(exp(\frac{-t^2{\sigma }^2}{2n^2}){)}^n=exp(\frac{-t^2(\sigma /\sqrt{n}{)}^2}{2})$$
$${\varphi }_{\overline{Y}}(t)=E(exp(it\overline{Y}))=E(e^{{\sum }_{k=1}^n\frac{Y_k}{n}it})=E(\prod _{k=1}^n{e}^{\frac{Y_k}{n}it})=\prod _{k=1}^{n}E(e^{\frac{Y_k}{n}it})=\prod _{k=1}^n{\Phi }_{Y_k}(\frac{t}{n})=({\varphi }_Y((\frac{t}{n}){)}^n$$
于是：
$var(\overline{x})=var(\overline{Y})={\sigma }^2/n$,所以
$E(\frac{1}{n}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2={\sigma }^2-var((\overline{x}))={\sigma }^2-{\sigma }^2/n=\frac{n-1}{n}{\sigma }^2$
因此，$\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2才是{\sigma }^2的无偏估计值。$

另一种方法：中误差
假设误差：
${\Delta }_i=l_i-X\dots$ ①
将各式取和再除以次数n，
$\frac{[\Delta ]}{n}=\frac{l}{n}-X$,
然后平方：$\frac{[\Delta \Delta ]}{n^2}=(\overline{x}-x{)}^2$
改正数：$v_i=\overline{x}-l_i\dots$②

由于①②得：
${\Delta }_i=-v_i+(\overline{x}-x)$

$\frac{[\Delta \Delta ]}{n}=\frac{[vv]}{n}+\frac{2(\overline{x}-x)[v]}{n}+(\overline{x}-x{)}^2$

由于改正值之和为0,$[v]=0$

$\frac{[\Delta \Delta ]}{n^2}=(\overline{x}-x{)}^2$

$\frac{[\Delta \Delta ]}{n}=\frac{[vv]}{n}+(\overline{x}-x{)}^2$

$\frac{[\Delta \Delta ]}{n}=\frac{[vv]}{n}+\frac{[\Delta \Delta ]}{n^2}$

$\frac{[\Delta \Delta ]}{n}-\frac{[\Delta \Delta ]}{n^2}=\frac{[vv]}{n}$

$\frac{n[\Delta \Delta ]}{n^2}-\frac{[\Delta \Delta ]}{n^2}=\frac{[vv]}{n}$

$\frac{(n-1)[\Delta \Delta ]}{n^2}=\frac{[vv]}{n}$

$\frac{[\Delta \Delta ]}{n}=\frac{[vv]}{n-1}$

$m^2=\frac{[vv]}{n-1}$

$m=\sqrt{\frac{[vv]}{n-1}}$

有效性

：如果两个参数估计量$\hat{\theta }，\check{\theta }$既是相合的，又是无偏的，那么他们两个中方差较小的那一个比较好，如果$var(\hat{\theta })\ge var(\check{\theta })$,那么我们就认为$\check{\theta }$比较好。
例：
设$x_1\dots \dots x_n$,来自均值为μ，方差为${\sigma }^2$的总体分布的简单样本，${\omega }_1\dots \dots {\omega }_n$为已知的非负权值，且满足$\sum {\omega }_i=1$,试比较μ两个估计$\overline{x}和{\sum }_{i=1}^n{\omega }_i的大小$：
因为$var(\overline{x})=\frac{{\sigma }^2}{n},var(\sum {\omega }_i{x}_i)={\sum }_{i=1}^n{\omega }_i^2{\sigma }^2$,也就是求$\frac{1}{n}\le {\sum }_{i=1}^n{\omega }_i^2$，由于柯西不等式：${\sum }_{i=1}^n{a}_i^2{\sum }_{i=1}^n{b}_i^2\ge ({\sum }_{i=1}^n{a}_i{b}_i{)}^2$,令$a_i=1,b_i={\omega }_i$,$(1+\cdots +1)({\omega }_1^2+\cdots +{\omega }_n^2)\ge ({\omega }_1+\cdots +{\omega }_n{)}^2$
$n\sum {\omega }_i^2\ge 1(权重之和为1)$
所以：$\sum {\omega }_i^2\ge \frac{1}{n}$,也就说明了$var(\overline{x})是更好的$

渐进正态性

当样本趋于无穷时，去中心化去量纲化的估计量符合标准正态分布。

置信区间估计