概率分布与参数区间估计

常用统计量

1、样本均值: X ˉ = 1 n ∑ i = 1 n X i \bar{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i} Xˉ=n1i=1nXi.
2、样本方差: S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ˉ ) 2 S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} S2=n11i=1n(XiXˉ)2.

常见分布

正态分布

X ∼ N ( μ , σ 2 ) X \sim N\left(\mu, \sigma^{2}\right) XN(μ,σ2)
则其概率密度函数为 f ( x ) = 1 σ 2 π    e − ( x − μ ) 2 2 σ 2  ⁣ {\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}}\!} f(x)=σ2π 1e2σ2(xμ)2
期望: E ( X ) = μ E(X)=\mu E(X)=μ
方差: D ( X ) = σ 2 D(X)=\sigma^{2} D(X)=σ2
标准化: X − μ σ 2 ∼ N ( 0 , 1 ) \frac{X-\mu}{\sigma^{2}} \sim N(0,1) σ2XμN(0,1).

对数正态分布

在概率论与统计学中,任意随机变量的对数服从正态分布,则这个随机变量服从的分布称为对数正态分布。如果 Y {\displaystyle Y} Y 是正态分布的随机变量,则 exp ⁡ ( Y ) {\displaystyle \exp(Y)} exp(Y)(指数函数)为对数正态分布;同样,如果 X {\displaystyle X} X 是对数正态分布,则 ln ⁡ X {\displaystyle \ln X} lnX为正态分布。 如果一个变量可以看作是许多很小独立因子的乘积,则这个变量可以看作是对数正态分布。一个典型的例子是股票投资的长期收益率,它可以看作是每天收益率的乘积。 对于 x > 0 {\displaystyle x>0} x>0,对数正态分布的概率密度函数为
f ( x ; μ , σ ) = 1 x σ 2 π e − ( ln ⁡ x − μ ) 2 / 2 σ 2 {\displaystyle f(x;\mu ,\sigma )={\frac {1}{x\sigma {\sqrt {2\pi }}}}e^{-(\ln x-\mu )^{2}/2\sigma ^{2}}} f(x;μ,σ)=xσ2π 1e(lnxμ)2/2σ2
其中 μ {\displaystyle \mu } μ σ {\displaystyle \sigma } σ 分别是变量对数的平均值与标准差。它的期望值是
E ( X ) = e μ + σ 2 / 2 {\displaystyle \mathrm {E} (X)=e^{\mu +\sigma ^{2}/2}} E(X)=eμ+σ2/2
方差为
v a r ( X ) = ( e σ 2 − 1 ) e 2 μ + σ 2 .   {\displaystyle \mathrm {var} (X)=(e^{\sigma ^{2}}-1)e^{2\mu +\sigma ^{2}}.\,} var(X)=(eσ21)e2μ+σ2.
给定期望值与方差,也可以用这个关系求 μ {\displaystyle \mu } μ σ {\displaystyle \sigma } σ
μ = ln ⁡ ( E ( X ) ) − 1 2 ln ⁡ ( 1 + v a r ( X ) E ( X ) 2 ) , {\displaystyle \mu =\ln(\mathrm {E} (X))-{\frac {1}{2}}\ln \left(1+{\frac {\mathrm {var} (X)}{\mathrm {E} (X)^{2}}}\right),} μ=ln(E(X))21ln(1+E(X)2var(X)),
σ 2 = ln ⁡ ( 1 + v a r ( X ) E ( X ) 2 ) . {\displaystyle \sigma ^{2}=\ln \left(1+{\frac {\mathrm {var} (X)}{\mathrm {E} (X)^{2}}}\right).} σ2=ln(1+E(X)2var(X)).

例题

χ 2 \chi^{2} χ2分布

X 1 , X 2 , … X n ∼ N ( 0 , 1 ) X_{1}, X_{2}, \ldots X_{n} \sim N(0,1) X1,X2,XnN(0,1),则
X = ∑ i = 1 n X i 2 ∼ χ 2 ( v ) X=\sum_{i=1}^{n} X_{i}^{2} \sim \chi^{2}(v) X=i=1nXi2χ2(v)
自由度 v = n − k v=n-k v=nk(其中 , k k k为限制条件数)

E ( X ) = v , D ( X ) = 2 v E(X)=v,D(X)=2v E(X)=v,D(X)=2v

χ 2 ( v 1 ) , χ 2 ( v 2 ) \chi^{2}(v_{1}),\chi^{2}(v_{2}) χ2(v1),χ2(v2)互相独立,则 χ 2 ( v 1 ) + χ 2 ( v 2 ) \chi^{2}(v_{1})+\chi^{2}(v_{2}) χ2(v1)+χ2(v2)服从 分布,自由度为 v 1 + v 2 v_{1}+v_{2} v1+v2

如果将总体中的方差 σ 2 σ^{2} σ2用样本方差 s 2 s^{2} s2代替,它是否也服从 χ 2 \chi^{2} χ2分布呢?理论上可以证明,它是服从 χ 2 \chi^{2} χ2分布的,但是参数 v v v不是 n n n而是 n − 1 n-1 n1了,究其原因在于它是 n − 1 n-1 n1个独立同分布于标准正态分布的随机变量的平方和
我们常常把一个式子中独立变量的个数称为这个式子的“自由度”,确定一个式子自由度的方法是:若式子包含有 n n n个变量,其中 k k k个被限制的样本统计量,则这个表达式的自由度为 n − k n-k nk。比如中包含 ξ 1 , ξ 2 , … , ξ n ξ_{1},ξ_{2},…,ξ_{n} ξ1ξ2ξn n n n个变量,其中 ξ 1 . . . ξ n − 1 ξ_{1}...ξ_{n-1} ξ1...ξn1相互独立, ξ n ξ_{n} ξn为其余变量的平均值,因此自由度为 n − 1 n-1 n1

有这样一个式子:
( n − 1 ) s 2 σ 2 ∼ χ 2 ( n − 1 ) \frac{(n-1) s^{2}}{\sigma^{2}} \sim \chi^{2}(n-1) σ2(n1)s2χ2(n1)
其中 s 2 s^{2} s2为样本的标准差。该式子的含义是 ( n − 1 ) ∗ (n-1)* (n1)样本方差与总体方差之比服从自由度为 n − 1 n-1 n1的卡方分布。而且, X ˉ \bar X Xˉ s 2 s^{2} s2相互独立。证明

t t t分布(学生分布)

X ∼ N ( 0 , 1 ) X \sim N(0,1) XN(0,1) Y ∼ χ 2 ( n ) Y \sim \chi^{2}(n) Yχ2(n),且 X , Y X,Y X,Y相互独立:
t = X Y n ∼ t ( n ) t=\frac{X}{\sqrt{\frac{Y}{n}}} \sim t(n) t=nY Xt(n)
自由度为 n n n.

F F F分布

X ∼ χ 2 ( n 1 ) X \sim \chi^{2}\left(n_{1}\right) Xχ2(n1) Y ∼ χ 2 ( n 2 ) Y \sim \chi^{2}\left(n_{2}\right) Yχ2(n2),且 X , Y X,Y X,Y相互独立:
F = X / n 1 Y / n 2 ∼ F ( n 1 , n 2 ) F=\frac{X / n_{1}}{Y / n_{2}} \sim F\left(n_{1}, n_{2}\right) F=Y/n2X/n1F(n1,n2)
自由度 n 1 , n 2 n_{1}, n_{2} n1,n2.

参数区间估计

正态总体参数的置信区间——枢轴变量法

μ \mu μ的置信度为 1 − α 1-\alpha 1α的置信区间

目的是要找 P ( μ ∈ ( X ˉ − δ , X ˉ + δ ) ) = 1 − α P(\mu \in(\bar{X}-\delta,\bar{X}+\delta))=1-\alpha P(μ(Xˉδ,Xˉ+δ))=1α

  • σ 2 \sigma^{2} σ2已知时: ( μ ‾ , μ ˉ ) = ( X ˉ − z α / 2 σ n , X ˉ + z α / 2 σ n ) (\underline{\mu}, \bar{\mu})=\left(\bar{X}-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}, \bar{X}+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\right) (μ,μˉ)=(Xˉzα/2n σ,Xˉ+zα/2n σ)
    枢轴变量法

  • σ 2 \sigma^{2} σ2未知时: ( X ˉ − t α / 2 ( n − 1 ) S n , X ˉ + t α / 2 ( n − 1 ) S n ) \left(\bar{X}-t_{\alpha / 2}(n-1) \frac{S}{\sqrt{n}}, \bar{X}+t_{\alpha / 2}(n-1) \frac{S}{\sqrt{n}}\right) (Xˉtα/2(n1)n S,Xˉ+tα/2(n1)n S)
    在这里插入图片描述

推导过程:
大样本情况下, 由中心极限定理可知:

不论 X i ∼ i i d f ( μ , σ 2 ) X_{i} \stackrel{iid}\sim f\left(\mu, \sigma^{2}\right) Xiiidf(μ,σ2)(任意分布),有
∑ i = 1 n X i n → ∞ N ( n μ , n σ 2 ) \sum_{i=1}^{n} X_{i}^{n \rightarrow \infty} N\left(n \mu, n \sigma^{2}\right) i=1nXinN(nμ,nσ2)
X ˉ \bar X Xˉ S 2 S^{2} S2相互独立, 且 E ( X ˉ ) = μ , D ( X ˉ ) = 1 n σ 2 , E ( S 2 ) = σ 2 E \left(\bar X\right)=\mu,D(\bar X)=\frac{1}{n}σ^{2},E(S^{2})=σ^{2} E(Xˉ)=μ,D(Xˉ)=n1σ2,E(S2)=σ2.

下面就可以根据样本统计量得到关于被估计参数测量值的分布情况:
S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ˉ ) 2 S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} S2=n11i=1n(XiXˉ)2
( n − 1 ) S 2 σ 2 = ∑ i = 1 n ( X i − X ˉ σ ) 2 ∼ χ 2 ( n − 1 ) \frac{(n-1) S^{2}}{\sigma^{2}}=\sum_{i=1}^{n}\left(\frac{X_{i}-\bar{X}}{\sigma}\right)^{2} \sim \chi^{2}(n-1) σ2(n1)S2=i=1n(σXiXˉ)2χ2(n1)
X ˉ − μ S n = X ˉ − μ σ / n S / σ = X ˉ − μ σ / n ( n − 1 ) S 2 / σ 2 n − 1 ∼ t ( n − 1 ) \frac{\bar{X}-\mu}{\frac{S}{\sqrt{n}}}=\frac{\frac{\bar{X}-\mu}{\sigma / n}}{S / \sigma}=\frac{\frac{\bar{X}-\mu}{\sigma / \sqrt{n}}}{\sqrt{\frac{(n-1) S^{2} / \sigma^{2}}{n-1}}} \sim t(n-1) n SXˉμ=S/σσ/nXˉμ=n1(n1)S2/σ2 σ/n Xˉμt(n1)
到此, 得到了 t t t分布, t t t分布为已知分布, 置信区间自然唾手可得:
P ( ∣ X ˉ − μ S / n ∣ < δ S / n ) = 1 − α P\left(\left|\frac{\bar{X}-\mu}{S / \sqrt{n}}\right|<\frac{\delta}{S / \sqrt{n}}\right)=1-\alpha P(S/n Xˉμ<S/n δ)=1α
P ( ∣ t ∣ < t α 2 ( n − 1 ) ) = 1 − α P\left(|t|<t_{\frac{\alpha}{2}}(n-1)\right)=1-\alpha P(t<t2α(n1))=1α
δ = t α 2 ( n − 1 ) S n \delta=t_{\frac{\alpha}{2}}(n-1) \frac{S}{\sqrt{n}} δ=t2α(n1)n S

方差 σ 2 \sigma^{2} σ2的置信度 1 − α 1−\alpha 1α置信区间

  • μ \mu μ已知: ( ∑ i = 1 n ( X i − μ ) 2 χ α / 2 2 ( n ) , ∑ i = 1 n ( X i − μ ) 2 χ 1 − α / 2 2 ( n ) ) \left(\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{ \chi_{\alpha / 2}^{2}(n)}, \frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha / 2}^{2}(n)}\right) (χα/22(n)i=1n(Xiμ)2,χ1α/22(n)i=1n(Xiμ)2)
    在这里插入图片描述

  • μ \mu μ未知: [ ∑ i = 1 n ( X i − X ˉ ) 2 χ n − 1 2 ( α / 2 ) , ∑ i = 1 n ( X i − X ˉ ) 2 χ n − 1 2 ( 1 − α / 2 ) ] \left[\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}{\chi_{n-1}^{2}(\alpha / 2)}, \frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}{\chi_{n-1}^{2}(1-\alpha / 2)}\right] [χn12(α/2)i=1n(XiXˉ)2,χn12(1α/2)i=1n(XiXˉ)2]
    在这里插入图片描述
    在这里插入图片描述

两个正态总体参数差异性的置信区间

两个总体均值差 μ 1 − μ 2 \mu_{1} − \mu_{2} μ1μ2的置信区间

  1. σ 1 2 , σ 2 2 \sigma_{1}^{2}, \sigma_{2}^{2} σ12,σ22均为已知
    X ˉ − Y ˉ ∼ N ( μ 1 − μ 2 , σ 1 2 n 1 + σ 2 2 n 2 ) \bar{X}-\bar{Y} \sim N\left(\mu_{1}-\mu_{2}, \frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}\right) XˉYˉN(μ1μ2,n1σ12+n2σ22)

    Z = ( X ˉ − Y ˉ ) − ( μ 1 − μ 2 ) σ 1 2 n 1 + σ 2 2 n 2 ∼ N ( 0 , 1 ) Z=\frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}} \sim N(0,1) Z=n1σ12+n2σ22 (XˉYˉ)(μ1μ2)N(0,1)
    μ 1 , μ 2 \mu_{1} , \mu_{2} μ1,μ2的置信度为 1 − α 1-\alpha 1α的置信区间为
    ( X ˉ − Y ˉ ± Z α / 2 σ 1 2 n 1 + σ 2 2 n 2 ) \left(\bar{X}-\bar{Y} \pm Z_{\alpha / 2} \sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}\right) XˉYˉ±Zα/2n1σ12+n2σ22
  2. σ 1 2 = σ 2 2 = σ 2 \sigma_{1}^{2}=\sigma_{2}^{2}=\sigma^{2} σ12=σ22=σ2, 但 σ 2 \sigma^{2} σ2为未知.
    仿上
    Z = ( X ˉ − Y ˉ ) − ( μ 1 − μ 2 ) σ 1 n 1 + 1 n 2 ∼ N ( 0 , 1 ) Z=\frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{\sigma \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}} \sim N(0,1) Z=σn11+n21 (XˉYˉ)(μ1μ2)N(0,1)
    K i 2 = ( n i − 1 ) S i 2 σ 2 ∼ χ 2 ( n i − 1 ) , i = 1 , 2 K_{i}^{2}=\frac{\left(n_{i}-1\right) S_{i}^{2}}{\sigma^{2}} \sim \chi^{2}\left(n_{i}-1\right), \quad i=1,2 Ki2=σ2(ni1)Si2χ2(ni1),i=1,2
    由两个总体独立,故 K 1 2 K_{1}^{2} K12 K 2 2 K_{2}^{2} K22独立,由Cochran 定理,
    K 1 2 + K 2 2 ∼ χ 2 ( n 1 + n 2 − 2 ) K_{1}^{2}+K_{2}^{2} \sim \chi^{2}\left(n_{1}+n_{2}-2\right) K12+K22χ2(n1+n22)
    T = Z ( K 1 2 + K 2 2 ) / ( n 1 + n 2 − 2 ) ∼ t ( n 1 + n 2 − 2 ) T=\frac{Z}{\sqrt{\left(K_{1}^{2}+K_{2}^{2}\right) /\left(n_{1}+n_{2}-2\right)}} \sim t\left(n_{1}+n_{2}-2\right) T=(K12+K22)/(n1+n22) Zt(n1+n22)
    注意 ( K 1 2 + K 2 2 ) / ( n 1 + n 2 − 2 ) = S w 2 / σ 2 \left(K_{1}^{2}+K_{2}^{2}\right) /\left(n_{1}+n_{2}-2\right)=S_{w}^{2} / \sigma^{2} (K12+K22)/(n1+n22)=Sw2/σ2
    此处
    S w 2 = ( n 1 − 1 ) S 1 2 + ( n 2 − 1 ) S 2 2 n 1 + n 2 − 2 = ( n 1 + n 2 − 2 ) − 1 [ ∑ 2 n 1 ( X i − X ˉ ) 2 + ∑ n 2 ( Y i − Y ˉ ) 2 ] \begin{aligned} S_{w}^{2}&=\frac{\left(n_{1}-1\right) S_{1}^{2}+\left(n_{2}-1\right) S_{2}^{2}}{n_{1}+n_{2}-2} \\ &=\left(n_{1}+n_{2}-2\right)^{-1}\left[\sum_{2}^{n_{1}}\left(X_{i}-\bar{X}\right)^{2}+\sum^{n_{2}}\left(Y_{i}-\bar{Y}\right)^{2}\right] \end{aligned} Sw2=n1+n22(n11)S12+(n21)S22=(n1+n22)1[2n1(XiXˉ)2+n2(YiYˉ)2]
    ( X ˉ − Y ˉ ) − ( μ 1 − μ 2 ) S w 1 n 1 + 1 n 2 ∼ t ( n 1 + n 2 − 2 ) \frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{S_{w} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}} \sim t\left(n_{1}+n_{2}-2\right) Swn11+n21 (XˉYˉ)(μ1μ2)t(n1+n22)
    从而可得 μ 1 , μ 2 \mu_{1},\mu_{2} μ1,μ2的置信区间为
    ( X ˉ − Y ˉ ± t α / 2 ( n 1 + n 2 − 2 ) S w 1 n 1 + 1 n 2 ) \left(\bar{X}-\bar{Y} \pm t_{\alpha / 2}\left(n_{1}+n_{2}-2\right) S_{w} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}\right) (XˉYˉ±tα/2(n1+n22)Swn11+n21 )
    在这里插入图片描述

两个总体方差比 σ 1 2 / σ 2 2 \sigma_{1}^{2} / \sigma_{2}^{2} σ12/σ22的置信区间

  1. μ 1 , μ 2 \mu_{1},\mu_{2} μ1,μ2已知

    S 1 2 = 1 m ∑ i = 1 m ( X i − μ 1 ) 2 , S 2 2 = 1 n ∑ i = 1 n ( Y i − μ 2 ) 2 S_{1}^{2}=\frac{1}{m} \sum_{i=1}^{m}\left(X_{i}-\mu_{1}\right)^{2}, S_{2}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(Y_{i}-\mu_{2}\right)^{2} S12=m1i=1m(Xiμ1)2,S22=n1i=1n(Yiμ2)2
    S 1 2 / σ 1 2 S 2 2 / σ 2 2 ∼ F ( n 1 , n 2 ) \frac{S_{1}^{2} / \sigma_{1}^{2}}{S_{2}^{2} / \sigma_{2}^{2}} \sim F\left(n_{1}, n_{2}\right) S22/σ22S12/σ12F(n1,n2)
    1 − α = P ( F 1 − α / 2 ( n 1 , n 2 ) < S 1 2 / σ 1 2 S 2 2 / σ 2 2 < F α / 2 ( n 1 , n 2 ) ) 1-\alpha=P\left(F_{1-\alpha / 2}\left(n_{1}, n_{2}\right)<\frac{S_{1}^{2} / \sigma_{1}^{2}}{S_{2}^{2} / \sigma_{2}^{2}}<F_{\alpha / 2}\left(n_{1}, n_{2}\right)\right) 1α=P(F1α/2(n1,n2)<S22/σ22S12/σ12<Fα/2(n1,n2))
    再利用不等式的等价变形, 得到 σ 1 2 / σ 2 2 \sigma_{1}^{2} / \sigma_{2}^{2} σ12/σ22的置信系数为 1 − α 1 − \alpha 1α的置信区间为
    [ S 1 2 S 2 2 ⋅ 1 F n 1 , n 2 ( α / 2 ) , S 1 2 S 2 2 ⋅ 1 F n 1 , n 2 ( 1 − α / 2 ) ] \left[\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{n_{1}, n_{2}}(\alpha / 2)}, \frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{n_{1}, n_{2}}(1-\alpha / 2)}\right] [S22S12Fn1,n2(α/2)1,S22S12Fn1,n2(1α/2)1]
    在这里插入图片描述

  2. μ 1 , μ 2 \mu_{1},\mu_{2} μ1,μ2未知
    ( n 1 − 1 ) S 1 2 / σ 1 2 ∼ χ n 1 − 1 2 , ( n 2 − 1 ) S 2 2 / σ 2 2 ∼ χ n 2 − 1 2 (n_{1}-1) S_{1}^{2} / \sigma_{1}^{2} \sim \chi_{n_{1}-1}^{2},(n_{2}-1) S_{2}^{2} / \sigma_{2}^{2} \sim \chi_{n_{2}-1}^{2} (n11)S12/σ12χn112,(n21)S22/σ22χn212
    得到 σ 1 2 / σ 2 2 \sigma_{1}^{2} / \sigma_{2}^{2} σ12/σ22的置信系数为 1 − α 1 − \alpha 1α的置信区间为
    [ S 1 2 S 2 2 ⋅ 1 F n 1 − 1 , n 2 − 1 ( α / 2 ) , S 1 2 S 2 2 ⋅ 1 F n 1 − 1 , n 2 − 1 ( 1 − α / 2 ) ] \left[\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{n_{1}-1, n_{2}-1}(\alpha / 2)}, \frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{n_{1}-1, n_{2}-1}(1-\alpha / 2)}\right] [S22S12Fn11,n21(α/2)1,S22S12Fn11,n21(1α/2)1]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值