本文详细介绍了回归分析中的线性模型，包括模型定义、参数估计、残差性质、假设性检验与区间估计。通过最小二乘法求解线性模型参数，并讨论了似然比检验、F检验以及置信区间的建立。同时，阐述了残差推断和模型诊断的重要性，如残差检验、异常值识别、高杠杆点和强影响点的判断。
回归分析
-
线性模型
Y n × 1 = X n × p β p × 1 + e n × 1 Y_{n\times 1}=X_{n\times p}\beta_{p\times 1}+e_{n\times 1} Yn×1=Xn×pβp×1+en×1，其中 E e = 0 Ee=0 Ee=0，Y为响应变量，X为协变量， β \beta β为线性模型的参数，e为残差。通常对 e e e有两个假定:
1. C o v ( e ) = σ 2 I n Cov(e)=\sigma^2I_n Cov(e)=σ2In，其中 σ 2 \sigma^2 σ2未知。
2. e ∼ N ( 0 , σ 2 I n ) e \sim N(0,\sigma^2I_n) e∼N(0,σ2In)，其中 σ 2 \sigma^2 σ2未知，比1强。
即为残差之间相互独立且服从相同的正态分布。 -
参数估计
由最小二乘法思想： β \beta β的估计应该使得 Q ( B ) = ∣ ∣ e 2 ∣ ∣ = ∣ ∣ Y − X β ∣ ∣ 2 Q(B)=||e^2||=||Y-X\beta||^2 Q(B)=∣∣e2∣∣=∣∣Y−Xβ∣∣2达到最小。若 β ^ \hat{\beta} β^使得 ∣ ∣ Y − X β ^ ∣ ∣ 2 = m i n β ∣ ∣ Y − X β ∣ ∣ 2 ||Y-X\hat{\beta}||^2=min_\beta||Y-X\beta||^2 ∣∣Y−Xβ^∣∣2=minβ∣∣Y−Xβ∣∣2，则称 β ^ \hat{\beta} β^为 β \beta β的最小二乘解。则 β ^ = ( X ′ X ) − X ′ Y \hat{\beta}=(X'X)^-X'Y β^=(X′X)−X′Y
若 r a n k ( X ) = p rank(X)=p rank(X)=p，则最小二乘估计有唯一解： β ^ = ( X ′ X ) − 1 X ′ Y \hat{\beta}=(X'X)^{-1}X'Y β^=(X′X)−1X′Y， β ^ \hat{\beta} β^为 β \beta β的无偏估计。 σ 2 ^ = ∣ ∣ Y − X β ^ ∣ ∣ 2 n − p \hat{\sigma^2}=\frac{||Y-X\hat{\beta}||^2}{n-p} σ2^=n−p∣∣Y−Xβ^∣∣2，则有以下性质：
1. E β ^ = β E\hat{\beta}=\beta Eβ^=β， V a r ( β ^ ) = σ 2 ( X ′ X ) − 1 Var(\hat{\beta})=\sigma^2(X'X)^{-1} Var(β^)=σ2(X′X)−1， E σ 2 ^ = σ 2 E\hat{\sigma^2}=\sigma^2 Eσ2^=σ2
2. β ^ ∼ N p ( β , σ 2 ( X ′ X ) − 1 ) \hat{\beta}\sim N_p(\beta,\sigma^2(X'X)^{-1}) β^∼Np(β,σ2(X′X)−1)， ( n − p ) σ 2 ^ σ 2 ∼ χ 2 ( n − p ) \frac{(n-p)\hat{\sigma^2}}{\sigma^2}\sim \chi^2(n-p) σ2(n−p)σ2^∼χ2(n−p)， β ^ \hat{\beta} β^与 σ 2 ^ \hat{\sigma^2} σ2^相互独立。
若 r a n k ( X ) < p rank(X)<p rank(X)<p，最小二乘解不唯一。此时最小二乘解中无 β ^ \hat{\beta} β^能作为 β \beta β的无偏估计。此外可以证明此时 β \beta β的无偏估计不存在，此时β 称为不可估的(nonestimable)。 -
假设性检验与区间估计
针对模型 Y n × 1 = X n × p β p × 1 + e n × 1 , e ∼ N ( 0 , σ 2 I n ) Y_{n\times 1}=X_{n\times p}\beta_{p\times 1}+e_{n\times 1}, e\sim N(0,\sigma^2I_n) Yn×1=Xn×pβp×1+en×1,e∼N(0,σ2In)，设 r a n k ( X ) = r rank(X)=r rank(X)=r，矩阵 H m × p H_{m\times p} Hm×p已知，线性假设： H 0 : H β = 0 ; H 1 : H β ≠ 0 H_0: H\beta=0; H_1: H\beta\neq0 H0:Hβ=0;H1:Hβ=0，不失一般性 r a n k ( H ) = m rank(H)=m rank(H)=m，检验 H 0 H_0 H0
似然比检验：对于线性模型，似然函数为 L ( Y ; σ 2 , β ) = ( 1 2 π σ ) n e x p ( ∣ ∣ Y − X β ∣ ∣ 2 2 σ 2 ) L(Y;\sigma^2,\beta)=(\frac{1}{\sqrt{2\pi\sigma}})^nexp(\frac{||Y-X\beta||^2}{2\sigma^2}) L(Y;σ2,β)=
最低0.47元/天 解锁文章
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
