区间估计与R实现

区间估计与R实现

---

1 一个总体参数的区间估计

研究一个总体时，主要关心参数总体均值$\mu$，总体比例$\pi$和总体方差$\sigma$。

1.1 总体均值的区间估计

需要考虑总体是否服从正态分布、总体方差是否已知或样本大小。

1.1.1 正态总体、方差已知/非正态总体、大样本

若总体服从正态分布、且方差已知，或者总体不是正态分布，但样本较大时，样本均值$\bar{x}$的抽样分布服从总体期望均值$\mu$，方差为${\sigma }^2/n$。即$\mu \sim N(\mu ,{\sigma }^2/n)$.标准化得到
$$z=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
给定显著性水平（风险值）$\alpha$得到总体均值$\mu$置信区间为
$$(\bar{x}-z_{\alpha /2}\frac{\sigma }{\sqrt{n}}，\bar{x}+z_{\alpha /2}\frac{\sigma }{\sqrt{n}})$$
其中$\bar{x}$为总体均值$\mu$的点估计，$z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$为估计误差。若样本服从正态分布，但总体方差未知，在样本较大条件下，可以用样本方差$s^2$代替总体方差${\sigma }^2$，总体均值的置信区间为在$\alpha$显著性水平下为
$$(\bar{x}-z_{\alpha /2}\frac{s}{\sqrt{n}}，\bar{x}+z_{\alpha /2}\frac{s}{\sqrt{n}})$$

# 一个总体均值区间估计
library(BSDA)

# ===================总体(正态)====================
X <- rnorm(10000,mean=1,sd=2)
# 样本
set.seed(1)
x <- sample(X,100,replace = FALSE )


# 方差已知
z.test(x, y = NULL, alternative = "two.sided", 
       mu = 1, sigma.x = 2, sigma.y = NULL,
       conf.level = 0.95)$conf.int
# [1] 0.8522777 1.6362633

# 方差未知
s = sd(x) # 样本方差
z.test(x, y = NULL, alternative = "two.sided", 
       mu = 1, sigma.x = s, sigma.y = NULL,
       conf.level = 0.95)$conf.int
# [1] 0.873636 1.614905

# =============总体(卡方分布)==============
# 总体
X <- rchisq(10000, 100)
# 样本
set.seed(1)
x <- sample(X,1000,replace = FALSE )
s = sd(x)
z.test(x, y = NULL, alternative = "two.sided", 
       mu = 100, sigma.x = s, sigma.y = NULL,
       conf.level = 0.95)
# [1]  99.23246 100.98213

---

1.1.2 正态总体，方差未知，小样本

总体服从正态分布，但总体方差未知，且为小样本时，使用样本方差$s^2$代替总体方差${\sigma }^2$,样本均值$\bar{x}$抽样分布标准化后服从$t$分布，即
$$t=\frac{\bar{x}-\mu }{s/\sqrt{n}}\sim t(n-1)$$
给定显著性水平得到总体均值$\mu$置信区间为
$$(\bar{x}-t_{\alpha /2}\frac{s}{\sqrt{n}},\bar{x}+t_{\alpha /2}\frac{s}{\sqrt{n}})$$

# 正态、总体方差未知、小样本
X <- rnorm(10000,mean=1,sd=2)
set.seed(1)
x <- sample(X,10,replace = FALSE )
t.test(x,mu=1,alternative = "two.sided",conf.level = 0.95)$conf.int  
# 0.8200316 2.8646923

---

1.2 总体比例区间估计

​ 假设总体包含事件$A$的比例为$\pi$，在大样本条件下，样本包含事件$A$的比例为$p$，则$p$的抽样分布近似于正态分布。其中$p$的期望为$Ep=\pi$，$D(p)=\pi (1-\pi )/n$，对$p$进行标准化得
$$z=\frac{p-\pi }{\sqrt{\pi (1-\pi )/n}}\sim N(0,1)$$
给定显著性水平置信区间为
$$(p-z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}},p+z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}})$$

# 单个总体比例检验
#100个样本，65个包含在事件A中
prop.test(x=65, n=100, p = NULL, alternative = "two.sided",
          correct = TRUE,conf.level = 0.95)

# 手动计算
q <-  qnorm(0.05/2,mean=0,sd=1)
p <- 0.65  
c(p+q*sqrt(p*(1-p)/100),p-q*sqrt(p*(1-p)/100))

# 使用二项分布的假设检验
binom.test(65, 100, p=0.6, alternative = "two.sided",conf.level = 0.95)

---

1.3 总体方差区间估计

当总体服从正态分布时，样本方差$s^2$的抽样分布服从卡方${\chi }^2$分布分布
$${\chi }^2=\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
给定显著性水平置信区间为
$$\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2}\le {\sigma }^2\le \frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2}$$

#方差区间估计
one.var.test <- function(x,alpha=0.05){
  n <- length(x)
  s <- var(x)
  df <- n-1
  ql <-  qchisq(alpha/2,df)
  qu <-  qchisq(1-alpha/2,df)
  confint <- c(df*s/qu,df*s/ql)
  return(confint)
}
set.seed(1)
X <- rnorm(10000,mean=1,sd=2)
x <- sample(X,100,replace = FALSE )
one.var.test(x,0.05)

# 3.106053 5.437291

---

---

2 两个总体参数区间估计

两个总体的参数主要包括两个总体均值差${\mu }_1-{\mu }_2$、两个总体的比例之差${\pi }_1-{\pi }_2$，两个总体的方差${\sigma }_1^2/{\sigma }_2^2$。

---

2.1 两个总体均值之差区间估计

假设两个总体的均值分别为${\mu }_1$和${\mu }_2$,从两个总体中抽取样本量分别为$n_1$，$n_2$的随机样本，样本均值分别为${\bar{x}}_1$和${\bar{x}}_2$。

2.1.1 独立样本情形

(1) 假设两个样本是从两个独立总体随机抽取的，两个总体方差已知且为大样本，则两个样本均值之差${\bar{x}}_1-{\bar{x}}_2$期望为${\mu }_1-{\mu }_2$，方差为${\sigma }_1^2/n_1+{\sigma }_2^2/n_2$,将${\bar{x}}_1-{\bar{x}}_2$标准化后服从标准正态分布
$$z=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$$
😀若${\sigma }_1^2$和${\sigma }_2^2$已知，给定显著性水平置信区间为
$$[({\bar{x}}_1-{\bar{x}}_2)-z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},({\bar{x}}_1-{\bar{x}}_2)+z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$$
😁若${\sigma }_1^2$和${\sigma }_2^2$未知，使用样本方差代替总体方差，置信区间为
$$[({\bar{x}}_1-{\bar{x}}_2)-z_{\alpha /2}\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}},({\bar{x}}_1-{\bar{x}}_2)+z_{\alpha /2}\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}]$$

#正态分布，方差已知、方差未知且大样本
X1 <- rnorm(10000,10,3)
X2 <- rnorm(10000,8,5)
set.seed(1)
x1 <- sample(X1,100,replace = FALSE )
x2 <- sample(X2,200,replace = FALSE )
# 方差已知
z.test(x1,sigma.x=3,x2,sigma.y=5,mu=2)
# 方差未知
z.test(x1,sigma.x=sd(x1),x2,sigma.y=sd(x2),mu=2)

​

---

😋若两总体服从正态分布，样本较小，但两总体方差相等${\sigma }_1^2={\sigma }_2^2={\sigma }^2$。将两个样本合并在一起估计总体方差${\sigma }^2$。对应的估计量为
$$s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}$$
类似于将两个样本的方差加权合并为一个方差。将${\bar{x}}_1-{\bar{x}}_2$标准化得到
$$z=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\mu }_1-{\mu }_2)}{\sqrt{\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}}}=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\mu }_1-{\mu }_2)}{s_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t_{\alpha /2}(n_1+n_2-2)$$
对应的置信区间为
$$[({\bar{x}}_1-{\bar{x}}_2)-t_{\alpha /2}(n_1+n_2-2)\sqrt{\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}},({\bar{x}}_1-{\bar{x}}_2)+t_{\alpha /2}(n_1+n_2-2)\sqrt{\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}}]$$

# 方差未知且相等
X1 <- rnorm(10000,10,2)
X2 <- rnorm(10000,8,2)

set.seed(1)
x1 <- sample(X1,100,replace = FALSE )
x2 <- sample(X2,200,replace = FALSE )

t.test(x1, x2,alternative = "two.sided",
       mu = 2, paired = FALSE, var.equal =TRUE,
       conf.level = 0.95)

---

😋若两总体服从正态分布，样本较小，但两总体方差不等且未知。将${\bar{x}}_1-{\bar{x}}_2$标准化，总体均值之差置信区间为
$$[({\bar{x}}_1-{\bar{x}}_2)-t_{\alpha /2}(v)\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}},({\bar{x}}_1-{\bar{x}}_2)+t_{\alpha /2}(v)\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}]$$
其中自由度
$$v=\frac{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^2}{\frac{(s_1^2/n_1{)}^2}{n_1-1}+\frac{(s_2^2/n_2{)}^2}{n_2-1}}$$

X1 <- rnorm(10000,10,3)
X2 <- rnorm(10000,8,2)

set.seed(1)
x1 <- sample(X1,100,replace = FALSE )
x2 <- sample(X2,200,replace = FALSE )

t.test(x1, x2,alternative = "two.sided",
       mu = 2, paired = FALSE, var.equal =FALSE,
       conf.level = 0.95)

---

2.1.2 配对样本情形

匹配样本可以消除指定不公平而造成的观测差异，进而检验两组总体真正的差异。

1）在大样本条件下，匹配样本均值之差$d={\mu }_1-{\mu }_2$。置信区间为
$$(\bar{d}-z_{\alpha /2}\frac{{\sigma }_d}{\sqrt{n}},\bar{d}+z_{\alpha /2}\frac{{\sigma }_d}{\sqrt{n}})$$
其中$\bar{d}$表示匹配样本对应数据的差值的平均值，${\sigma }_d$表示各差值标准差。若${\sigma }_d$未知，可用样本$s_d$代替。

2）在小样本条件下，若两个总体配对差值服从正态分布，则对应置信区间为
$$(\bar{d}-t_{\alpha /2}(n-1)\frac{s_d}{\sqrt{n}},\bar{d}+t_{\alpha /2}(n-1)\frac{s_d}{\sqrt{n}})$$

# ----------配对样本-------------
# 方便演示，这里使用的独立样本
X1 <- rnorm(100,10,3)
X2 <- rnorm(100,8,2)

t.test(X1, X2,alternative = "two.sided",
       mu = 2, paired = TRUE,conf.level = 0.95)

---

2.2 两总体比例之差区间估计

两个总体包含事件$A$的比例分别为${\pi }_1$和${\pi }_2$，对应的样本比例为$p_1$和$p_2$，则$p_1-p_2$期望为${\pi }_1-{\pi }_2$,对应的方差为${\pi }_1(1-{\pi }_1)/n_1+{\pi }_2(1-{\pi }_2)/n_2$,将$p_1-p_2$标准化服从标准正态分布
$$Z=\frac{(p_1-p_2)-({\pi }_1-{\pi }_2)}{\sqrt{{\pi }_1(1-{\pi }_1)/n_1+{\pi }_2(1-{\pi }_2)/n_2}}\sim N(0,1)$$
对应的置信区间为
$$((p_1-p_2)-z_{\alpha /2}\sqrt{p_1(1-p_1)/n_1+p_2(1-p_2)/n_2},(p_1-p_2)+z_{\alpha /2}\sqrt{p_1(1-p_1)/n_1+p_2(1-p_2)/n_2})$$

# 手动计算
p1=0.45
p2=0.32
n2 = 400
n1 = 500
alpha=0.05
q = abs(qnorm(0.05/2))
(p1-p2)-q*sqrt((p1*(1-p1)/n1+p2*(1-p2)/n2))
(p1-p2)+q*sqrt((p1*(1-p1)/n1+p2*(1-p2)/n2))

---

2.3 两个总体方差比区间估计

两个样本方差比的抽样分布服从$F(n_1-1,n_2-1)$。由于
$$\frac{s_1^2}{s_2^2}\frac{{\sigma }_2^2}{{\sigma }_1^2}\sim F(n_1-1,n_2-1)$$
给定$\alpha$显著性水平，得到
$$F_{1-\alpha /2}\le \frac{s_1^2}{s_2^2}\frac{{\sigma }_2^2}{{\sigma }_1^2}\le F_{\alpha /2}$$
解得
$$\frac{s_1^2/s_2^2}{F_{\alpha /2}}\le \frac{{\sigma }_1^2}{{\sigma }_2^2}\le \frac{s_1^2/s_2^2}{F_{1-\alpha /2}}$$
其中$F_{1-\alpha /2}(n_1,n_2)=1/F_{\alpha }(n_2,n_1)$。

#-------------两个方差之比---------------
X1 <- rnorm(100,10,3)
X2 <- rnorm(100,8,3)
var.test(X1, X2,alternative = "two.sided",conf.level = 0.95)