第一章 概率论基础
第二章 统计基础
- 常用抽样分布:
χ
2
,
T
,
F
\chi^2, T, F
χ2,T,F
- χ 1 − α 2 = − χ α 2 , T 1 = α = − T α \chi^2_{1-\alpha} = -\chi^2_{\alpha}, T_{1=\alpha} = -T_{\alpha} χ1−α2=−χα2,T1=α=−Tα
- F 1 − α ( n , m ) = 1 F α ( n , m ) = F α ( m , n ) \displaystyle F_{1-\alpha}(n, m) = {1 \over F_{\alpha}(n, m)} = F_{\alpha}(m, n) F1−α(n,m)=Fα(n,m)1=Fα(m,n)
- 正态总体的抽样分布
- X ‾ ∼ N ( μ , σ 2 n ) \displaystyle \overline X \thicksim N(\mu, {\sigma^2 \over n}) X∼N(μ,nσ2)
- X ‾ − μ S / n ∼ t ( n − 1 ) \displaystyle {\overline X - \mu \over S/\sqrt{n}} \thicksim t(n-1) S/nX−μ∼t(n−1)
- ( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) \displaystyle {(n-1)S^2 \over \sigma^2} \thicksim \chi^2(n-1) σ2(n−1)S2∼χ2(n−1)
- 次序统计量
- 单个
- 多个
- 充分统计量(利用因子分解定理求)
f
(
x
,
θ
)
=
g
(
t
,
θ
)
h
(
x
)
f(x, \theta) = g(t, \theta) h(x)
f(x,θ)=g(t,θ)h(x) 参考知乎讲解
- 求联合密度函数
- 因子分解:
- 与 x x x 和 θ \theta θ都有有关的放第一项
- 只与 x x x 有关的放第二项
- 第一项里找出只与 x x x 有关部分为 T T T
第三章 点估计及其优良性
- 点估计
- 矩估计 —— E ( X i ) = ∑ X j i E(X^i) = \sum X_j^i E(Xi)=∑Xji
- 极大似然估计
- 求似然函数 L ( θ ) = ∏ p ( x i ; θ ) L(\theta) = \prod p(x_i; \theta) L(θ)=∏p(xi;θ) —— 目标最大化似然函数
- 求 l n L ( θ ) ln L(\theta) lnL(θ)
- 求导为 0 → 0 \to 0→ 解得 θ \theta θ
- 极大似然估计特殊情况
θ
的
取
值
范
围
与
X
有
关
\theta 的取值范围与 X 有关
θ的取值范围与X有关
- 如 θ < X → θ < X ( 0 ) 如 \theta < X \to \theta < X_{(0)} 如θ<X→θ<X(0)
- 点估计优良性
- 无偏性: E ( θ ^ ) = θ E(\hat \theta) = \theta E(θ^)=θ
- 有效性:(判断估计是否有效)判断
V
a
r
(
θ
)
?
=
C
R
下
界
Var(\theta) ?= CR下界
Var(θ)?=CR下界
- 计算方差 V a r ( θ ^ ) Var(\hat \theta) Var(θ^)
- 计算
C
−
R
C-R
C−R 下界
1
n
I
(
θ
)
\displaystyle{1 \over n I(\theta)}
nI(θ)1
- 费希尔信息量: I ( θ ) = E [ d ( l n p ( X ; θ ) / d θ ) 2 ] I(\theta) = E[ d (ln p(X; \theta) / d\theta)^2] I(θ)=E[d(lnp(X;θ)/dθ)2]
- 或者 I ( θ ) = − E [ d 2 l n p ( X ; θ ) d θ 2 ] \displaystyle I(\theta) = - E[{d^2 ln p(X; \theta) \over d\theta^2}] I(θ)=−E[dθ2d2lnp(X;θ)]
- 判断 V a r ( θ ^ ) = 1 / n I ( θ ) Var(\hat \theta) = 1 / n I(\theta) Var(θ^)=1/nI(θ)
第五章 区间估计与假设检验
- 枢轴变量法 区间估计
- 先求出 θ \theta θ的点估计 θ ^ \hat \theta θ^
- 通过
θ
^
\hat \theta
θ^构造枢轴函数
G
(
θ
^
,
θ
)
G(\hat \theta, \theta)
G(θ^,θ)
- G G G中除了 θ \theta θ外不含其他未知参数
-
P
(
a
<
G
(
θ
^
,
θ
)
<
b
)
>
=
1
−
α
P(a < G(\hat \theta, \theta) < b) >= 1-\alpha
P(a<G(θ^,θ)<b)>=1−α
- a , b a, b a,b 可通过查表获得
- 假设检验
- 提出假设
H
0
,
H
1
H_0, H_1
H0,H1
- 通常假设 H 0 H_0 H0 为总体参数 θ = x x x \theta = xxx θ=xxx
- 确定检验统计量
- 通过拒绝域判断原假设是否成立
- 提出假设
H
0
,
H
1
H_0, H_1
H0,H1
第六章 回归分析
-
S
S
T
=
S
S
R
+
S
S
E
SS_T = SS_R + SS_E
SST=SSR+SSE
- 离差平方和 S S T = ∑ y i 2 − n ( y ‾ ) 2 = l y y SS_T = \sum y_i^2 - n(\overline y)^2 = l_{yy} SST=∑yi2−n(y)2=lyy
- 回归平方和 S S R = ∑ ( y ^ i − y ‾ ) 2 = β ^ 1 2 l x x SS_R = \sum (\hat y_i - \overline y)^2 = \hat \beta_1^2 l_{xx} SSR=∑(y^i−y)2=β^12lxx
- 残差平方和 S S E = ∑ ( y i − y ^ i ) 2 = S S T − S S R SS_E = \sum (y_i - \hat y_i)^2 = SS_T - SS_R SSE=∑(yi−y^i)2=SST−SSR
- 简单线性回归(最小二乘法, 极大似然估计)
y
=
β
0
+
β
1
x
+
σ
y = \beta_0 + \beta_1x + \sigma
y=β0+β1x+σ
- β ^ 0 = y ‾ − β ^ 1 x ‾ \hat \beta_0 = \overline y - \hat \beta_1 \overline x β^0=y−β^1x
-
β
^
1
=
l
x
y
/
l
x
x
\hat \beta_1 = l_{xy}/l_{xx}
β^1=lxy/lxx
- l x y = ∑ x i 2 − n x ‾ y ‾ l_{xy} = \sum x_i^2 - n \overline x \overline y lxy=∑xi2−nxy
- l x x = ∑ x i 2 − n ( x ‾ ) 2 l_{xx} = \sum x_i^2 - n(\overline x)^2 lxx=∑xi2−n(x)2
- σ ^ = S S E n − 2 \displaystyle \hat \sigma = {SSE \over n-2} σ^=n−2SSE
- 参数的估计,$\beta_0, \beta_1 $的置信区间和假设检验
- β ^ 1 ∼ N ( β 1 , σ 2 l x x ) \displaystyle \hat \beta_1 \thicksim N(\beta_1, {\sigma^2 \over l_{xx}}) β^1∼N(β1,lxxσ2)
- β ^ 0 ∼ N ( β 0 , ( 1 n + x ‾ 2 l x x ) σ 2 ) \displaystyle \hat \beta_0\thicksim N(\beta_0, ({1 \over n} + { {\overline x}^2 \over l_{xx}})\sigma^2) β^0∼N(β0,(n1+lxxx2)σ2)
- ( n − 2 ) σ ^ 2 σ 2 = S S e σ 2 ∼ X 2 ( n − 2 ) \displaystyle {(n-2){\hat \sigma}^2 \over \sigma^2} = {SSe \over \sigma^2 } \thicksim X^2(n-2) σ2(n−2)σ^2=σ2SSe∼X2(n−2)
- β 1 = 0 时 , S S r σ 2 = β 1 2 l x x σ 2 ∼ X 2 ( 1 ) \displaystyle \beta_1=0时, {SSr \over \sigma^2} = {\beta_1^2l_{xx} \over \sigma^2} \thicksim X^2(1) β1=0时,σ2SSr=σ2β12lxx∼X2(1)
- S S R / ( 1 ) S S E / ( n − 2 ) ∼ F ( 1 , n − 2 ) \displaystyle {SS_R/(1) \over SS_E/(n-2)} \thicksim F(1, n-2) SSE/(n−2)SSR/(1)∼F(1,n−2)
- 回归方程的显著性检验 ~ 检验
β
1
\beta_1
β1是否为0
- H 0 : β 1 = 0 , H 1 : β 1 ! = 0 H_0: \beta_1=0, H_1: \beta_1 != 0 H0:β1=0,H1:β1!=0
- S S e σ 2 = ( n − 2 ) σ ^ 2 σ 2 ∼ χ 2 ( n − 2 ) \displaystyle {SS_e \over \sigma^2} = {(n-2)\hat \sigma^2 \over \sigma^2} \thicksim \chi^2(n-2) σ2SSe=σ2(n−2)σ^2∼χ2(n−2)
- S S r σ 2 ∼ χ 2 ( 1 ) \displaystyle {SS_r \over \sigma^2} \thicksim \chi^2(1) σ2SSr∼χ2(1)
-
F
F
F检验
- 提出 H 0 : β 1 = 0 , H 1 : β 1 ! = 0 H_0: \beta_1=0, H_1: \beta_1 != 0 H0:β1=0,H1:β1!=0
- 检验统计量 F = S S r / 1 S S e / ( n − 2 ) ∼ F ( 1 , n − 2 ) \displaystyle F = {SS_r / 1 \over SS_e / (n-2)} \thicksim F(1, n-2) F=SSe/(n−2)SSr/1∼F(1,n−2)
- 代入数据求$ F$, 查表求 F α ( 1 , n − 2 ) F_\alpha(1, n-2) Fα(1,n−2)
- 比较大小,若 F F F 大则拒绝 H 0 H_0 H0, 效果显著
- T T T检验
- 点预测和区间预测
- 点预测直接带入 y ^ 0 = β ^ 0 + β ^ 1 x 0 \hat y_0 = \hat \beta_0 + \hat \beta_1 x_0 y^0=β^0+β^1x0
- 区间预测 : 直接用 y 0 ∼ N ( y ^ 0 , σ ^ 2 ) y_0 \thicksim N(\hat y_0, \hat\sigma^2) y0∼N(y^0,σ^2)
- y 0 → y ^ 0 ± z α / a σ ^ y_0 \to \hat y_0 \pm z_{\alpha/a} \hat\sigma y0→y^0±zα/aσ^
- 控制
- 样本相关系数 r x y = l x y l x x l x y \displaystyle r_{xy} = {l_{xy} \over \sqrt{l_{xx}l_{xy}}} rxy=lxxlxylxy
- C o v ( β ^ 0 , β ^ 1 ) = C o v ( y ˉ − β ^ 1 x ˉ , β ^ 1 ) = − x ˉ V a r ( β ^ 1 ) Cov(\hat\beta_0, \hat\beta_1) = Cov(\bar y - \hat\beta_1 \bar x, \hat\beta_1) = -\bar x Var(\hat\beta_1) Cov(β^0,β^1)=Cov(yˉ−β^1xˉ,β^1)=−xˉVar(β^1)
- 注:
- 区间预测
- y 0 ∼ N ( β 0 + β 1 x 0 , σ 2 ) y_0 \thicksim N(\beta_0+\beta_1x_0, \sigma^2) y0∼N(β0+β1x0,σ2)
- y ^ 0 ∼ N ( β 0 + β 1 x 0 , ( 1 n + ( x 0 − x ˉ ) 2 l x x ) σ 2 \displaystyle \hat y_0 \thicksim N(\beta_0+\beta_1x_0, ({1 \over n}+{(x_0-\bar x)^2 \over l_{xx}})\sigma^2 y^0∼N(β0+β1x0,(n1+lxx(x0−xˉ)2)σ2
- y 0 − y ^ 0 ∼ N ( 0 , ( 1 + 1 n + ( x 0 − x ˉ ) 2 l x x ) σ 2 ) \displaystyle y_0-\hat y_0 \thicksim N(0, (1 + {1 \over n}+{(x_0-\bar x)^2 \over l_{xx}})\sigma^2) y0−y^0∼N(0,(1+n1+lxx(x0−xˉ)2)σ2)
- ( n − 2 ) σ ^ 2 σ 2 = S S E σ 2 ∼ χ 2 ( n − 2 ) \displaystyle {(n-2) \hat \sigma^2 \over \sigma^2} = {SS_E \over \sigma^2} \thicksim \chi^2(n-2) σ2(n−2)σ^2=σ2SSE∼χ2(n−2)
- 区间预测