假设检验
中心极限定理
如果总体均值为
μ
\mu
μ,方差为
σ
2
\sigma^2
σ2,我们进行随机抽样,样本容量为
n
n
n,当
n
n
n增大时,则样本均值
X
‾
\overline{X}
X ~
N
(
μ
,
σ
2
/
n
)
N(\mu,\sigma^2/n)
N(μ,σ2/n)
我们会得到如下结论:
1、进行多次抽样,则每次抽样会得到一个均值,这些均值会围绕在总体均值左右,呈正态分布。
2、当样本容量
n
n
n足够大时,样本均值服从正态分布。
- 样本均值构成的正态分布,其均值等于总体均值 μ \mu μ
- 样本均值构成的正态分布,其标准差等于总体标准差 σ \sigma σ除以 n \sqrt{n} n
说明:
- 样本均值分布的标准差,我们成为标准误差,简称标准误
- 要能够区分总体的标准差,样本的标准差和标准误
- n n n是样本容量不是抽样次数
正态分布的特性
在正态分布中,数据的分布比例如下:
- 以均值为中心,在1倍标准差内( μ − σ \mu-\sigma μ−σ, μ + σ \mu+\sigma μ+σ),包含约68%的样本数据
- 以均值为中心,在2倍标准差内( μ − 2 σ \mu-2\sigma μ−2σ, μ + 2 σ \mu+2\sigma μ+2σ),包含约95%的样本数据
- 以均值为中心,在3倍标准差内( μ − 3 σ \mu-3\sigma μ−3σ, μ + 3 σ \mu+3\sigma μ+3σ),包含约99.7%的样本数据
根据中心极限定理,如果多次抽样(总体的均值为 μ \mu μ,方差为 σ 2 \sigma^2 σ2),则样本均值( X ‾ \overline{X} X)构成的正态分布,满足 X ‾ \overline{X} X ~ N ( μ , σ 2 / n ) N(\mu,\sigma^2/n) N(μ,σ2/n)。如果我对总体进行一次抽样,则该样本的均值有95%的概率会会在( μ − 2 σ \mu-2\sigma μ−2σ, μ + 2 σ \mu+2\sigma μ+2σ)范围内,仅有5%的概率会在( μ − 2 σ \mu-2\sigma μ−2σ, μ + 2 σ \mu+2\sigma μ+2σ)范围外。根据小概率事件(很小的概率在一次抽样中基本不会发生),如果抽样的样本均值在( μ − 2 σ \mu-2\sigma μ−2σ, μ + 2 σ \mu+2\sigma μ+2σ)之外,我们就可以人为,本次抽样来自的总体,该总体的均值并非是我们所期望的均值。
通常,我们已2倍标准差作为判定依据,则以样本均值为中心,正负2倍标准差构成的区间,就是置信区间。而2倍标准差包含了95%的数据,因此,此时的置信度为95%。换言之,我们有95%的信心认为,总体的均值会在置信区间之内。
例如:
有10000个数字(总体,实际上比10000还要大),均值为
μ
\mu
μ,方差为
σ
2
\sigma^2
σ2,进行随机抽样,抽取
k
k
k次,每次抽取36个数字,即
n
n
n=36,抽一次有一个均值
m
1
m_1
m1,抽第二次有一个均值
m
2
m_2
m2,抽第
k
k
k次有一个均值
m
k
m_k
mk,即均值分布
m
1
,
m
2
,
.
.
.
,
m
k
m_1,m_2,...,m_k
m1,m2,...,mk服从正态分布
N
(
μ
,
σ
2
/
n
)
N(\mu,\sigma^2/n)
N(μ,σ2/n)。
而我们实际抽样中,只会抽取一次样本,即
k
k
k=1,因此得出样本均值
X
‾
\overline{X}
X,我们有95%的把握认为它会在以
μ
\mu
μ为中心,正负2倍标准差(即
σ
/
n
\sigma/\sqrt{n}
σ/n)的区间内,反过来,我们有95%的把握认为总体均值会在以
X
‾
\overline{X}
X为中心,正负2倍标准差(即
σ
/
n
\sigma/\sqrt{n}
σ/n)的区间内。
假设检验:假设检验就是先对总体的参数提出某种假设,然后利用样本的信息判断假设是否成立的过程。
显著性水平:显著性水平是原假设为真时,拒绝原假设的概率,显著性水平为一个概率值。表示为
α
\alpha
α,常取为0.05,0.01,0.1
假设检验的两种错误:
第一类错误,也称
α
\alpha
α错误,即原假设为真时,但拒绝原假设所犯的错误(拒真);
第二类错误,也称
β
\beta
β错误,即原假设错误时,反而接受原假设的情况(取伪)。
双边检验:
H
0
H_0
H0:
μ
=
μ
0
\mu=\mu_0
μ=μ0,
H
1
H_1
H1:
μ
≠
μ
0
\mu\neq\mu_0
μ=μ0
单边检验:分为左边检验和右边检验
左边检验:当假设关键词有不得少于/低于的时候用左边检验,比如灯泡的使用寿命不得少于/低于700小时,
H
0
H_0
H0:
μ
≥
μ
0
\mu\geq\mu_0
μ≥μ0,
H
1
H_1
H1:
μ
<
μ
0
\mu<\mu_0
μ<μ0
右边检验:当假设关键词有不得多于/高于的时候用右侧检验,比如次品率不得多于/高于5%时,
H
0
H_0
H0:
μ
≤
μ
0
\mu\leq\mu_0
μ≤μ0,
H
1
H_1
H1:
μ
>
μ
0
\mu>\mu_0
μ>μ0
P P P值: P P P值表示支持原假设的概率
Z Z Z检验: Z Z Z检验用来判断样本均值是否与总体均值具有显著性差异, Z Z Z检验是通过正态分布的理论来判断差异发生的概率,从而比较两个均值的差异是否显著。 Z Z Z检验适用于:
- 总体呈正态分布
- 总体方差已知
- 样本容量较大(一般
≥
\geq
≥ 30)
以上三点并不是需要全都满足,1、3满足一点即可
Z Z Z统计量计算方式如下: Z = x ˉ − μ 0 S x ˉ = x ˉ − μ 0 σ / n Z=\frac {\bar{x}-\mu_0}{S_{\bar{x}}}=\frac {\bar{x}-\mu_0}{{\sigma}/{\sqrt{\smash[b]{n}}}} Z=Sxˉxˉ−μ0=σ/nxˉ−μ0
- x ˉ \bar{x} xˉ:样本均值
- μ 0 \mu_0 μ0:待检验的总体均值(假设的总体均值)
- S x ˉ S_{\bar{x}} Sxˉ:样本均值分布的标准差(标准误)
- σ \sigma σ:总体的标准差
- n n n:样本容量
t t t检验: t t t检验与 Z Z Z检验类似,用来判断样本均值是否与总体均值具有显著性差异,不过, t t t检验是基于 t t t分布的, t t t检验适用于:
- 总体呈正态分布
- 总体方差未知
- 样本数量较少(<30)
不过随着样本容量的增大(样本量达到30以上时), t t t分布逐渐接近于正态分布,此时, t t t检验也就近似于 Z Z Z检验。
t t t统计量计算方式如下: t = x ˉ − μ 0 S x ˉ = x ˉ − μ 0 S / n t=\frac {\bar{x}-\mu_0}{S_{\bar{x}}}=\frac {\bar{x}-\mu_0}{S/{\sqrt{\smash[b]{n}}}} t=Sxˉxˉ−μ0=S/nxˉ−μ0
- x ˉ \bar{x} xˉ:样本均值
- μ 0 \mu_0 μ0:待检验的总体均值(假设的总体均值)
- S x ˉ S_{\bar{x}} Sxˉ:样本均值分布的标准差(标准误)
- S S S:样本的标准差
-
n
n
n:样本容量
因为总体的标准差未知,只能用样本的标准差代替总体的标准差,因此 t t t检验服从于 t t t分布,而不是正态分布,但随着 n n n不断增大, t t t分布逐渐接近于正态分布, t t t检验也就近似于 Z Z Z检验。
Z Z Z统计量和 t t t统计量其实都表示几倍的标准差,以 α \alpha α=0.05为例,若计算所得统计量>1.96( P < α P<\alpha P<α),就表示总体均值落在了拒绝域内,因此拒绝 H 0 H_0 H0,接受 H 1 H_1 H1。
双边检验:
x
=
−
∣
Z
∣
x=-\left|Z\right|
x=−∣Z∣这条直线以左的部分与分布曲线围城的面积加上
x
=
∣
Z
∣
x=\left|Z\right|
x=∣Z∣这条直线以右的部分与分布曲线围城的面积等于
P
P
P值。(
t
t
t检验同理)
左边检验:
x
=
Z
x=Z
x=Z这条直线以左的部分与分布曲线围城的面积即为
P
P
P值。(
t
t
t检验同理)
右边检验:
x
=
Z
x=Z
x=Z这条直线以右的部分与分布曲线围城的面积即为
P
P
P值。(
t
t
t检验同理)