应用概率统计 陈魁 清华大学出版社 统计部分 期末考点
一、参数估计
1.点估计
1.1矩法(用样本矩作为相应的总体矩的估计量)
思路:解方程(组)
E
(
X
k
)
=
1
n
∑
i
=
1
n
X
i
k
.
E(X^k)=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^k.
E(Xk)=n1i=1∑nXik.
1.2极大似然法(使得样本落在观察值的领域里的概率(似然函数)最大)
- 写出似然函数
离散型
L ( x 1 , x 2 , ⋯ , x n ; θ ) = ∏ i = 1 n p ( X = x i ; θ ) , L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^{n}p(X=x_i;\theta), L(x1,x2,⋯,xn;θ)=i=1∏np(X=xi;θ),
连续型
L ( x 1 , x 2 , ⋯ , x n ; θ ) = ∏ i = 1 n f ( x i ; θ ) d x i , L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^{n}f(x_i;\theta)\mathrm{d}x_i, L(x1,x2,⋯,xn;θ)=i=1∏nf(xi;θ)dxi, - 写出 ln L ; \ln L; lnL;
- 求出 d ln L d θ \frac{\mathrm{d}\ln L}{\mathrm{d}\theta} dθdlnL,并令其为0,解出 θ \theta θ,即为 θ ^ . \hat{\theta}. θ^.
2.区间估计
正态总体参数的区间估计(应用概率统计 陈魁 清华大学出版社)
二、假设检验
原假设 H 0 H_0 H0 | H 0 H_0 H0下的检验统计量及分布 | 备择假设 H 1 H_1 H1 | H 0 H_0 H0的拒绝域 | |
---|---|---|---|---|
1 | μ = μ 0 ( σ 2 已 知 ) \mu=\mu_0 \\ (\sigma^2已知) μ=μ0(σ2已知) | U = X ‾ − μ 0 σ / n ∼ N ( 0 , 1 ) U=\frac{\overline{X}-\mu_0}{\sigma /\sqrt{n}}\sim N(0,1) U=σ/nX−μ0∼N(0,1) | μ ≠ μ 0 μ > μ 0 μ < μ 0 \mu \neq \mu_0\\ \mu >\mu_0\\ \mu < \mu_0 μ=μ0μ>μ0μ<μ0 | ∣ U ∣ > z α 2 U > z α U < − z α \lvert U \rvert >z_{\frac{\alpha}{2}}\\ U >z_\alpha\\ U<-z_\alpha ∣U∣>z2αU>zαU<−zα |
2 | μ = μ 0 ( σ 2 未 知 ) \mu=\mu_0 \\ (\sigma^2未知) μ=μ0(σ2未知) | T = X ‾ − μ 0 S / n ∼ t ( n − 1 ) T=\frac{\overline{X}-\mu_0}{S /\sqrt{n}}\sim t(n-1) T=S/nX−μ0∼t(n−1) | μ ≠ μ 0 μ > μ 0 μ < μ 0 \mu \neq \mu_0\\ \mu >\mu_0\\ \mu < \mu_0 μ=μ0μ>μ0μ<μ0 | ∣ T ∣ > t α 2 ( n − 1 ) T > t α ( n − 1 ) T < − t α ( n − 1 ) \lvert T \rvert >t_{\frac{\alpha}{2}}(n-1)\\ T >t_\alpha(n-1)\\ T<-t_\alpha(n-1) ∣T∣>t2α(n−1)T>tα(n−1)T<−tα(n−1) |
3 | μ 1 − μ 2 = δ ( σ 1 2 , σ 2 2 均 已 知 ) \mu_1-\mu_2=\delta \\ (\sigma_1^2,\sigma_2^2均已知) μ1−μ2=δ(σ12,σ22均已知) | U = X ‾ − Y ‾ − δ σ 1 2 n 1 + σ 2 2 n 2 ∼ N ( 0 , 1 ) U=\frac{\overline{X}-\overline{Y}-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1) U=n1σ12+n2σ22X−Y−δ∼N(0,1) | μ 1 − μ 2 ≠ δ μ 1 − μ 2 > δ μ 1 − μ 2 < δ \mu_1-\mu_2\neq\delta\\ \mu_1-\mu_2>\delta\\ \mu_1-\mu_2<\delta μ1−μ2=δμ1−μ2>δμ1−μ2<δ | ∣ U ∣ > z α 2 U > z α U < − z α \lvert U \rvert >z_{\frac{\alpha}{2}}\\ U >z_\alpha\\ U<-z_\alpha ∣U∣>z2αU>zαU<−zα |
4 | μ 1 − μ 2 = δ ( σ 1 2 , σ 2 2 均 未 知 σ 1 2 = σ 2 2 = σ 2 ) \mu_1-\mu_2=\delta \\ \left (\begin{matrix}\sigma_1^2,\sigma_2^2均未知\\ \sigma_1^2=\sigma_2^2=\sigma^2 \end{matrix}\right) μ1−μ2=δ(σ12,σ22均未知σ12=σ22=σ2) | T = X ‾ − Y ‾ − δ S w 1 n 1 + 1 n 2 ∼ t ( n 1 + n 2 − 2 ) , S w 2 = ( n 1 − 1 ) S 1 2 + ( n 2 − 1 ) S 2 2 n 1 + n 2 − 2 ) T=\frac{\overline{X}-\overline{Y}-\delta}{S_w{\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}}\sim t(n_1+n_2-2),\\ S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2)} T=Swn11+n21X−Y−δ∼t(n1+n2−2),Sw2=n1+n2−2)(n1−1)S12+(n2−1)S22 | μ 1 − μ 2 ≠ δ μ 1 − μ 2 > δ μ 1 − μ 2 < δ \mu_1-\mu_2\neq\delta\\ \mu_1-\mu_2>\delta\\ \mu_1-\mu_2<\delta μ1−μ2=δμ1−μ2>δμ1−μ2<δ | ∣ T ∣ > t α 2 ( n 1 + n 2 − 2 ) T > t α ( n 1 + n 2 − 2 ) T < − t α ( n 1 + n 2 − 2 \lvert T \rvert >t_{\frac{\alpha}{2}}(n_1+n_2-2)\\ T >t_\alpha(n_1+n_2-2)\\ T<-t_\alpha(n_1+n_2-2 ∣T∣>t2α(n1+n2−2)T>tα(n1+n2−2)T<−tα(n1+n2−2 |
5 | μ 1 − μ 2 = δ ( σ 1 2 , σ 2 2 均 未 知 n 1 , n 2 很 大 ) \mu_1-\mu_2=\delta \\ \left (\begin{matrix}\sigma_1^2,\sigma_2^2均未知\\ n_1,n_2很大 \end{matrix}\right) μ1−μ2=δ(σ12,σ22均未知n1,n2很大) | U = X ‾ − Y ‾ − δ S 1 2 n 1 + S 2 2 n 2 ∼ N ( 0 , 1 ) U=\frac{\overline{X}-\overline{Y}-\delta}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim N(0,1) U=n1S12+n2S22X−Y−δ∼N(0,1) | μ 1 − μ 2 ≠ δ μ 1 − μ 2 > δ μ 1 − μ 2 < δ \mu_1-\mu_2\neq\delta\\ \mu_1-\mu_2>\delta\\ \mu_1-\mu_2<\delta μ1−μ2=δμ1−μ2>δμ1−μ2<δ | ∣ U ∣ > z α 2 U > z α U < − z α \lvert U \rvert >z_{\frac{\alpha}{2}}\\ U >z_\alpha\\ U<-z_\alpha ∣U∣>z2αU>zαU<−zα |
6 | σ 2 = σ 0 2 ( μ 已 知 ) \sigma^2=\sigma_0^2\\ (\mu已知) σ2=σ02(μ已知) | κ 2 = ∑ i = 1 n ( X i − μ σ 0 ) 2 ∼ χ 2 ( n ) \kappa^2=\sum\limits_{i=1}^n\Big(\frac{X_i-\mu}{\sigma_0}\Big)^2 \sim \chi^2(n) κ2=i=1∑n(σ0Xi−μ)2∼χ2(n) | σ 2 ≠ σ 0 2 σ 2 > σ 0 2 σ 2 < σ 0 2 \sigma^2\neq\sigma_0^2\\ \sigma^2>\sigma_0^2\\ \sigma^2<\sigma_0^2 σ2=σ02σ2>σ02σ2<σ02 | κ 2 > χ α 2 2 ( n ) 或 κ 2 < χ 1 − α 2 2 ( n ) κ 2 > χ α 2 ( n ) κ 2 < χ 1 − α 2 ( n ) \kappa^2>\chi^2_{\frac{\alpha}{2}}(n)或\kappa^2<\chi^2_{1-{\frac{\alpha}{2}}}(n)\\ \kappa^2>\chi^2_\alpha(n)\\ \kappa^2<\chi^2_{1-\alpha}(n) κ2>χ2α2(n)或κ2<χ1−2α2(n)κ2>χα2(n)κ2<χ1−α2(n) |
7 | σ 2 = σ 0 2 ( μ 未 知 ) \sigma^2=\sigma_0^2\\ (\mu未知) σ2=σ02(μ未知) | κ 2 = ( n − 1 ) S 2 σ 0 2 ∼ χ 2 ( n − 1 ) \kappa^2=\frac{(n-1)S^2}{\sigma_0^2} \sim \chi^2(n-1) κ2=σ02(n−1)S2∼χ2(n−1) | σ 2 ≠ σ 0 2 σ 2 > σ 0 2 σ 2 < σ 0 2 \sigma^2\neq\sigma_0^2\\ \sigma^2>\sigma_0^2\\ \sigma^2<\sigma_0^2 σ2=σ02σ2>σ02σ2<σ02 | κ 2 > χ α 2 2 ( n − 1 ) 或 κ 2 < χ 1 − α 2 2 ( n − 1 ) κ 2 > χ α 2 ( n − 1 ) κ 2 < χ 1 − α 2 ( n − 1 ) \kappa^2>\chi^2_{\frac{\alpha}{2}}(n-1)或\kappa^2<\chi^2_{1-{\frac{\alpha}{2}}}(n-1)\\ \kappa^2>\chi^2_\alpha(n-1)\\ \kappa^2<\chi^2_{1-\alpha}(n-1) κ2>χ2α2(n−1)或κ2<χ1−2α2(n−1)κ2>χα2(n−1)κ2<χ1−α2(n−1) |
8 | σ 1 2 = σ 2 2 ( μ 1 , μ 2 均 已 知 ) \sigma_1^2=\sigma_2^2\\ (\mu_1,\mu_2均已知) σ12=σ22(μ1,μ2均已知) | F = ∑ i = 1 n 1 ( X i − μ 1 σ 1 ) 2 / n 1 ∑ i = 1 n 2 ( X i − μ 2 σ 2 ) 2 / n 2 ∼ F ( n 1 , n 2 ) F=\frac{\sum\limits_{i=1}^{n_1}\Big(\frac{X_i-\mu_1}{\sigma_1}\Big)^2\Big/n1}{\sum\limits_{i=1}^{n_2}\Big(\frac{X_i-\mu_2}{\sigma_2}\Big)^2\Big/n2}\sim F(n_1,n_2) F=i=1∑n2(σ2Xi−μ2)2/n2i=1∑n1(σ1Xi−μ1)2/n1∼F(n1,n2) | σ 1 2 ≠ σ 2 2 σ 1 2 > σ 2 2 σ 1 2 < σ 2 2 \sigma_1^2\neq\sigma_2^2\\ \sigma_1^2>\sigma_2^2\\ \sigma_1^2<\sigma_2^2 σ12=σ22σ12>σ22σ12<σ22 | F > F α 2 ( n 1 , n 2 ) 或 F < F 1 − α 2 ( n 1 , n 2 ) F > F α ( n 1 , n 2 ) F < F 1 − α ( n 1 , n 2 ) F>F_{\frac{\alpha}{2}}(n_1,n_2)或F<F_{1-{\frac{\alpha}{2}}}(n_1,n_2)\\ F>F_\alpha(n_1,n_2)\\ F<F_{1-\alpha}(n_1,n_2) F>F2α(n1,n2)或F<F1−2α(n1,n2)F>Fα(n1,n2)F<F1−α(n1,n2) |
9 | σ 1 2 = σ 2 2 ( μ 1 , μ 2 均 未 知 ) \sigma_1^2=\sigma_2^2\\ (\mu_1,\mu_2均未知) σ12=σ22(μ1,μ2均未知) | F = S 1 2 S 2 2 ∼ F ( n 1 − 1 , n 2 − 1 ) F=\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1) F=S22S12∼F(n1−1,n2−1) | σ 1 2 ≠ σ 2 2 σ 1 2 > σ 2 2 σ 1 2 < σ 2 2 \sigma_1^2\neq\sigma_2^2\\ \sigma_1^2>\sigma_2^2\\ \sigma_1^2<\sigma_2^2 σ12=σ22σ12>σ22σ12<σ22 | F > F α 2 ( n 1 − 1 , n 2 − 1 ) 或 F < F 1 − α 2 ( n 1 − 1 , n 2 − 1 ) F > F α ( n 1 − 1 , n 2 − 1 ) F < F 1 − α ( n 1 − 1 , n 2 − 1 ) F>F_{\frac{\alpha}{2}}(n_1-1,n_2-1)或F<F_{1-{\frac{\alpha}{2}}}(n_1-1,n_2-1)\\ F>F_\alpha(n_1-1,n_2-1)\\ F<F_{1-\alpha}(n_1-1,n_2-1) F>F2α(n1−1,n2−1)或F<F1−2α(n1−1,n2−1)F>Fα(n1−1,n2−1)F<F1−α(n1−1,n2−1) |
三、方差分析
四、回归分析
1.一元(正态)线性回归(最小二乘估计)
- 样本 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x i , y i ) , ⋯ , ( x n , y n ) ; (x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_n,y_n); (x1,y1),(x2,y2),⋯,(xi,yi),⋯,(xn,yn);
- 模型 y i = a + b x i + ε i , i = 1 , 2 , ⋯ , n ε i ∼ N ( 0 , σ 2 ) 各 ε i 相 互 独 立 } . \left.\begin{array}{lr} y_i=a+bx_i+\varepsilon_i, & i=1,2,\cdots,n \\ \varepsilon_i \sim N(0,\sigma^2) & 各\varepsilon_i相互独立\end{array}\right\}. yi=a+bxi+εi,εi∼N(0,σ2)i=1,2,⋯,n各εi相互独立}.
- 考虑 a , b a,b a,b的函数 Q ( a , b ) = ∑ i = 1 n ( y i − a − b x i ) 2 . Q(a,b)=\sum\limits_{i=1}^n(y_i-a-bx_i)^2. Q(a,b)=i=1∑n(yi−a−bxi)2.
- 用最小二乘法估计 a , b a,b a,b,使 Q ( a , b ) Q(a,b) Q(a,b)最小,即 a ^ , b ^ = arg min a , b Q ( a , b ) . \hat{a},\hat{b}=\underset{a,b} {\arg\min} Q(a,b). a^,b^=a,bargminQ(a,b).
- 求导,令偏导数为零,解方程组 { ∂ Q ∂ a = − 2 ∑ i = 1 n ( y i − a − b x i ) = 0 , ∂ Q ∂ b = − 2 ∑ i = 1 n ( y i − a − b x i ) x i = 0. \left\{\begin{array}{l}\frac{\partial Q}{\partial a}=-2\sum\limits_{i=1}^n(y_i-a-bx_i)=0, \\ \frac{\partial Q}{\partial b}=-2\sum\limits_{i=1}^n(y_i-a-bx_i)x_i=0 .\end{array}\right. ⎩⎪⎨⎪⎧∂a∂Q=−2i=1∑n(yi−a−bxi)=0,∂b∂Q=−2i=1∑n(yi−a−bxi)xi=0.
- 解出 a , b a,b a,b,即 a ^ , b ^ \hat{a},\hat{b} a^,b^ { b ^ = S x y / S x x , a ^ = y ‾ − x ‾ b ^ , \left\{\begin{array}{l}\hat{b}=S_{xy}/S_{xx},\\ \hat{a}=\overline{y}-\overline{x}\hat{b},\end{array}\right. {b^=Sxy/Sxx,a^=y−xb^,其中, { S x y = ∑ i = 1 n x i y i − n x ‾ y ‾ = ∑ i = 1 n ( x i − x ‾ ) ( y i − y ‾ ) , S x x = ∑ i = 1 n x i 2 − n x ‾ 2 = ∑ i = 1 n ( x i − x ‾ ) 2 . \left\{\begin{array}{l}S_{xy}=\sum\limits_{i=1}^nx_iy_i-n\overline{x}\ \overline{y}=\sum\limits_{i=1}^n(x_i-\overline{x})(y_i-\overline{y}),\\ S_{xx}=\sum\limits_{i=1}^nx_i^2-n\overline{x}^2=\sum\limits_{i=1}^n(x_i-\overline{x})^2.\end{array}\right. ⎩⎪⎨⎪⎧Sxy=i=1∑nxiyi−nx y=i=1∑n(xi−x)(yi−y),Sxx=i=1∑nxi2−nx2=i=1∑n(xi−x)2.
- 所求线性回归方程为 y ^ = a ^ + b ^ x . \hat{y}=\hat{a}+\hat{b}x. y^=a^+b^x.
2.线性假设的显著性分析(方差分析,F检验法)
- 给出 { 原 假 设 H 0 : b = 0 , 备 择 假 设 H 1 : b ≠ 0. \left\{\begin{array}{lcr}原假设 & H_0: & b=0,\\ 备择假设 & H_1: & b\neq0 .\end{array}\right. {原假设备择假设H0:H1:b=0,b=0.
- 对原假设 H 0 : b = 0 H_0:b=0 H0:b=0,备择假设 H 1 : b ≠ 0 H_1: b\neq0 H1:b=0,选统计量 F = S r e g r e s s i o n S e r r o r / n − 2 ∼ F ( 1 , n − 2 ) . F=\frac{S_{regression}}{S_{error}/n-2} \sim F(1,n-2). F=Serror/n−2Sregression∼F(1,n−2).
- 对于给出的
α
\alpha
α,查表得
F
α
(
1
,
n
−
2
)
F_{\alpha}(1,n-2)
Fα(1,n−2);由样本值计算出
S
r
e
g
r
e
s
s
i
o
n
S_{regression}
Sregression和
S
e
r
r
o
r
S_{error}
Serror,从而计算出
F
F
F值。
方差分析表
方差来源 | 平方和 | 自由度 | 均方 | F比 |
---|---|---|---|---|
回归 | S r e g r e s s i o n S_{regression} Sregression | 1 1 1 | M S r e g r e s s i o n = S r e g r e s s i o n 1 MS_{regression}=\frac{S_{regression}}{1} MSregression=1Sregression | F = S r e g r e s s i o n S e r r o r / n − 2 F=\frac{S_{regression}}{S_{error}/n-2} F=Serror/n−2Sregression |
残差 | S e r r o r S_{error} Serror | n − 2 n-2 n−2 | M S e r r o r = S e r r o r n − 2 MS_{error}=\frac{S_{error}}{n-2} MSerror=n−2Serror | |
总和 | S y y S_{yy} Syy | n − 1 n-1 n−1 |
- 判断
(1)若 F > F α ( 1 , n − 2 ) F>F_{\alpha}(1,n-2) F>Fα(1,n−2),则拒绝 H 0 H_0 H0,接受 H 1 H_1 H1,说明回归效果显著;
(2)若 F < F α ( 1 , n − 2 ) F<F_{\alpha}(1,n-2) F<Fα(1,n−2),则接受 H 0 H_0 H0,说明回归效果不显著。
记号说明
S
y
y
=
∑
i
=
1
n
(
y
i
−
y
‾
)
2
=
∑
i
=
1
n
y
i
2
−
n
y
‾
2
=
∑
i
=
1
n
(
y
i
^
−
y
‾
)
2
+
∑
i
=
1
n
(
y
i
−
y
i
^
)
2
+
2
∑
i
=
1
n
(
y
i
^
−
y
‾
)
(
y
i
−
y
i
^
)
=
S
r
e
g
r
e
s
s
i
o
n
+
S
e
r
r
o
r
+
0
,
S
r
e
g
r
e
s
s
i
o
n
=
(
b
^
)
2
S
x
x
,
S
e
r
r
o
r
=
S
y
y
−
S
r
e
g
r
e
s
s
i
o
n
=
S
y
y
−
(
b
^
)
2
S
x
x
,
\begin{aligned} S_{yy} &=\sum\limits_{i=1}^n(y_i-\overline{y})^2=\sum\limits_{i=1}^ny_i^2-n\overline{y}^2\\ &=\sum\limits_{i=1}^n(\hat{y_i}-\overline{y})^2+\sum\limits_{i=1}^n(y_i-\hat{y_i})^2+2\sum\limits_{i=1}^n(\hat{y_i}-\overline{y})(y_i-\hat{y_i})\\ &=S_{regression}+S_{error}+0, \\ S_{regression} &=(\hat{b})^2S_{xx},S_{error}=S_{yy}-S_{regression}=S_{yy}-(\hat{b})^2S_{xx}, \end{aligned}
SyySregression=i=1∑n(yi−y)2=i=1∑nyi2−ny2=i=1∑n(yi^−y)2+i=1∑n(yi−yi^)2+2i=1∑n(yi^−y)(yi−yi^)=Sregression+Serror+0,=(b^)2Sxx,Serror=Syy−Sregression=Syy−(b^)2Sxx,
F
=
S
r
e
g
r
e
s
s
i
o
n
S
e
r
r
o
r
/
n
−
2
=
S
r
e
g
r
e
s
s
i
o
n
σ
2
/
1
S
e
r
r
o
r
σ
2
/
n
−
2
∼
F
(
1
,
n
−
2
)
,
S
r
e
g
r
e
s
s
i
o
n
σ
2
∼
χ
2
(
1
)
S
e
r
r
o
r
σ
2
∼
χ
2
(
n
−
2
)
.
F=\frac{S_{regression}}{S_{error}/n-2}=\frac{{\frac{S_{regression}}{\sigma^2}}/1}{{\frac{S_{error}}{\sigma^2}/n-2}} \sim F(1,n-2),\\ \frac{S_{regression}}{\sigma^2}\sim \chi^2(1)\ \ \ \ \ \ \ \frac{S_{error}}{\sigma^2}\sim \chi^2(n-2).
F=Serror/n−2Sregression=σ2Serror/n−2σ2Sregression/1∼F(1,n−2),σ2Sregression∼χ2(1) σ2Serror∼χ2(n−2).
注:
线性假设的显著性分析还可用
T
T
T检验法。
二者(
T
T
T检验法和
F
F
F检验法)区别:
-
T
T
T检验法
对各个回归系数的检验,可以看出哪些回归系数对回归效果更显著,从而忽略那些对因变量贡献小的回归系数。 -
F
F
F检验法
对所有回归系数的检验,代表进行回归的所有自变量的回归系数的一个总体检验。
PS:
用EXCEL进行线性回归分析(数据来源:应用概率统计 陈魁 清华大学出版社 第11章 回归分析 例11.1.2)