应用数理统计中的一些基本定义与概念
(1) 试验总体
一个研究问题所涉及的对象组成的集合称之为总体,该集合中的每一个基本单元(或具体对象)称之为总体单元。总体依据其实际存在性分为现实总体(实实在在存在的总体)与试验总体(为分析问题想象出的总体)。
(2)样本
从总体中按照预先设计的方法抽取 n n n个总体单元,用于认识或推断总体,所抽取的这n个总体单元所构成的整体被称之为总体的一个样本。
设 X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn为取自总体X的样本,则n维随机向量 X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn的概率分布称之为样本分布。假设总体 X X X的概率或概率密度函数为 f θ ( x ) f_\theta (x) fθ(x),其中 θ \theta θ是未知常数,被称之为总体参数。 X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn为抽自总体X的样本,则样本分布的概率函数或概率密度函数为: f θ ( x 1 , x 2 , … , x n ) = ∏ i = 1 n f θ ( x i ) f_\theta (x_1,x_2,…,x_n)=\prod_{i=1}^n f_\theta (x_i) fθ(x1,x2,…,xn)=i=1∏nfθ(xi)
(3)似然函数
似然函数是估计参数
θ
\theta
θ在参数空间
Θ
\Theta
Θ上的函数:
L
(
θ
∣
x
1
,
x
2
,
.
.
.
,
x
n
)
=
∏
i
=
1
n
f
θ
(
x
i
)
L(\theta|x_1,x_2,...,x_n) = \prod_{i=1}^n f_\theta (x_i)
L(θ∣x1,x2,...,xn)=i=1∏nfθ(xi)
似然函数
L
(
θ
∣
x
1
,
x
2
,
.
.
.
,
x
n
)
L(\theta|x_1,x_2,...,x_n)
L(θ∣x1,x2,...,xn)是样本
X
1
,
X
2
,
…
,
X
n
X_1,X_2,…,X_n
X1,X2,…,Xn取得实现
x
1
,
x
2
,
…
,
x
n
x_1,x_2,…,x_n
x1,x2,…,xn的概率(
X
X
X为离散型)或概率密度函数(
X
X
X为连续型)。
(4)抽样分布
统计量 T ( X 1 , X 2 , … , X n ) T(X_1,X_2,…,X_n) T(X1,X2,…,Xn)的概率分布被称之为抽样分布。
(5)充分统计量
包含样本中统计推断问题的全部信息的统计量,设有分布簇 F = { F θ , θ ∈ Θ } F = \{ F_\theta,\theta\in\Theta \} F={Fθ,θ∈Θ},其中 θ \theta θ为未知参数, X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn是自分布 F θ ∈ F F_\theta\in F Fθ∈F抽取的一个样本, T = T ( X 1 , X 2 , … , X n ) T=T(X_1,X_2,…,X_n) T=T(X1,X2,…,Xn)是一个统计量。如果在 T = t T=t T=t(t是一个给定值)下,样本 X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn的条件分布于参数 θ \theta θ无关,则统计量 T T T被称之为参数 θ \theta θ的一个充分统计量。
(6)小样本方法
精确抽样分布是指总体的概率分布已知时,对于任意的样本容量n,应用概率理论导出的统计量 T ( X 1 , X 2 , … , X n ) T(X_1,X_2,…,X_n) T(X1,X2,…,Xn)概率分布的一个显示表达。精确抽样分布是样本容量 n n n较小的情况下,由样本推断总体的基础。以精确抽样分布为基础建立的统计推断方法被称之为小样本方法。
(7)估计精度
假设要估计的参数为 θ \theta θ,为其选择的估计量为 θ ^ \hat{\theta} θ^。如果对于给定的 α ( 0 < α < 1 ) \alpha(0<\alpha<1) α(0<α<1),存在一个仅与样本和给定的 α \alpha α有关的量 Δ ( θ ^ ) \Delta(\hat{\theta}) Δ(θ^),使得 P { ∣ θ ^ − θ ∣ ≤ Δ ( θ ^ ) } = 1 − α P\{|\hat{\theta}-\theta|\ \leq \Delta(\hat{\theta})\} = 1-\alpha P{∣θ^−θ∣ ≤Δ(θ^)}=1−α
则估计量 θ ^ \hat{\theta} θ^的实现为参数 θ \theta θ的点估计, Δ ( θ ^ ) \Delta(\hat{\theta}) Δ(θ^)的实现为点估计误差限, 1 − α 1-\alpha 1−α 为点估计的可靠性。点估计、点估计误差限、点估计可靠性三者构成实际应用中参数点估计的结论基本组成,缺一不可。点估计误差限和可靠性是实际应用者评价估计的相对标准。
令
A
(
θ
^
)
=
[
1
−
Δ
(
θ
^
)
θ
]
∗
100
%
A(\hat{\theta})=[1-\frac{\Delta(\hat{\theta})}{\theta}]*100\%
A(θ^)=[1−θΔ(θ^)]∗100%
A
(
θ
^
)
A(\hat{\theta})
A(θ^)称之为用估计量
θ
^
\hat{\theta}
θ^的实现估计参数
θ
\theta
θ的精确度。实际中以点估计
θ
^
\hat{\theta}
θ^代替
θ
\theta
θ计算精确度
A
(
θ
^
)
A(\hat{\theta})
A(θ^)。对于实际应用者来说,好的参数估计应该具有较高的精确度和较高的可靠性。
(8)假设检验的第一、二类错误
第一类错误是指原假设 H 0 H_0 H0为真,统计假设检验中拒绝了原假设 H 0 H_0 H0,这类错误称之为第一类错误,俗称弃真错误。
第二类错误是原假设 H 0 H_0 H0不真,统计假设检验中不拒绝原假设 H 0 H_0 H0,这类错误称之为第二类错误,俗称纳伪错误。
(9)检验功效
检验功效是衡量统计检验方法优劣的重要指标,假设检验问题的原假设为
H
0
H_0
H0,备择假设为
H
a
H_a
Ha,该检验问题的统计检验法的原假设
H
0
H_0
H0拒绝域为R,令
P
o
w
e
r
(
R
)
=
P
{
拒
绝
H
0
∣
H
a
为
真
}
Power(R) = P\{拒绝H_0| H_a为真\}
Power(R)=P{拒绝H0∣Ha为真}
P
o
w
e
r
(
R
)
Power(R)
Power(R)称之为统计检验法的检验功效。显然与犯第二类错误的概率
β
\beta
β之间存在下列关系:
P
o
w
e
r
(
R
)
=
1
−
β
Power(R)=1-\beta
Power(R)=1−β
(10)方差齐性
方差齐性是指试验数据来自方差相等的总体, 方差齐性检验指数理统计学中检查不同样本的总体方差是否相同的一种方法。
(11)单侧检验
单侧检验指当要检验的是样本所取自的总体的参数值大于或小于某个特定值时,所采用的一种单方面的统计检验方法。单侧检验包括左单侧检验和右单侧检验两种,如果所要检验的是样本所取自的总体的参数值是否大于某个特定值时,采用右侧检验。反之,若所要检验的是样本所取自的总体的参数值是否小于某个特定值时则采用左单侧检验。
(12)小概率原理
指概率很小的事件在一次试验中基本不可能发生。
(13)枢轴变量
假设 θ \theta θ是总体 X X X的一个参数, X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn为取自总体 X X X的样本。如果可以构造一个 θ \theta θ和 X 1 , X 2 , … , X n X_1,X_2,…,X_n X1,X2,…,Xn的函数 h ( X 1 , X 2 , … , X n , θ ) h(X_1,X_2,…,X_n,\theta) h(X1,X2,…,Xn,θ),使其分布或渐近分布已知,且与参数 θ \theta θ和其他任何未知量无关。则函数 h ( X 1 , X 2 , … , X n , θ ) h(X_1,X_2,…,X_n,\theta) h(X1,X2,…,Xn,θ)被称之为枢轴变量。
(14)检验统计量
检验统计量是指用于做出拒绝或者不拒绝员假设 H 0 H_0 H0决定的统计量。
检验统计量是用于假设检计算的统计量,在零假设情况下,这项统计量服从一个给定的概率分布,而这在另一种假设下则不然。从而若检验统计量的值落在上述分布的临界值之外,则可认为前述零假设未必正确。统计学中,用于检验假设量是否正确的量。常用的检验统计量有 t t t统计量, Z Z Z统计量等。
(15)先验分布
在研究统计问题时,研究者还没有抽取样本或获得试验数据以前,就已经拥有关于该统计问题的一些信息,这种信息称之为先验信息。
在贝叶斯统计学中,对先验信息挖掘和加工,使其量化,形成一个概率分布,这一概率分布称之为先验分布。
(16)估计标准误
参数估计量的均方误差:
M
S
E
θ
(
θ
^
)
=
E
[
(
θ
−
θ
^
)
2
]
MSE_{\theta}(\hat{\theta}) = E[({\theta-\hat{\theta}})^2]
MSEθ(θ^)=E[(θ−θ^)2]
M
S
E
θ
(
θ
^
)
MSE_{\theta}(\hat{\theta})
MSEθ(θ^)满足分解式:
M
S
E
θ
(
θ
^
)
=
[
θ
−
E
(
θ
^
)
]
2
+
V
a
r
(
θ
^
)
MSE_{\theta}(\hat{\theta}) = [{\theta-E(\hat{\theta}})]^2 + Var(\hat{\theta})
MSEθ(θ^)=[θ−E(θ^)]2+Var(θ^)
其中
θ
−
E
(
θ
^
)
\theta-E(\hat{\theta})
θ−E(θ^)被称之为估计量
θ
^
\hat{\theta}
θ^的偏,反映的是估计量
θ
^
\hat{\theta}
θ^估计参数
θ
\theta
θ所产生的系统误差。
V
a
r
(
θ
^
)
Var(\hat{\theta})
Var(θ^)是估计量
θ
^
\hat{\theta}
θ^的方差。令
σ
θ
=
V
a
r
(
θ
^
)
\sigma_{\theta}=\sqrt{Var(\hat{\theta})}
σθ=Var(θ^),则
σ
θ
\sigma_{\theta}
σθ成为估计量
θ
\theta
θ的标准误,反映了以估计量
θ
^
\hat{\theta}
θ^估计参数
θ
\theta
θ所产生的随机误差。
估计标准误:如果估计量 θ ^ \hat{\theta} θ^的标准误 σ θ \sigma_{\theta} σθ涉及到可估计的未知参数,以这些参数的估计代替 σ θ \sigma_{\theta} σθ中的相应参数产生估计量的估计标准误,记为 S θ S_{\theta} Sθ
(17)交互作用
两个因素不同水平组合对试验指标的影响被称之为两个因素的交互作用,因素A与B的交互作用以A*B表示。因素A,B交互作用引起的试验指标的变化称之为交互效应。
(18)主效应
每个因素单独引起的实验指标变化被称之为因素主效应。
(19)效应混杂
效应混杂是指在试验中两种因子的效应,或因子主效应与因子之间的交互效应交错在一起而不能分开的情况。效应混杂在进行实验时会干扰对试验结果的分析,要尽量避免各因子的效应混杂。
在多因素试验中,由于试验设计缺陷或试验单元选择不恰当等原因,使得两个或两个以上因素对试验指标的作用效应交错在一起而无法分开或识别的现象被称之为效应混杂。
(20)试验处理
一项试验中所考察和控制变化因素的不同水平的组合被称之为处理。对单因素试验,处理就是试验因素的每个水平,试验因素有几个水平,就相应的有几个处理。对多因素试验,处理就是个试验因素不同水平的组合,处理额数目是个试验因素水平的乘积。
(21)统计描述
所谓描述统计是指对已获得样本实现的具体基本特征进行概况汇总与描述展现的全过程,包括以基本的概况汇总统计量提取样本实现的特征信息,以及用图描述和表达样本实现的分布特征。
通过描述统计获得的结果既可以作为进一步精准分析(统计推断)的基础,也可以作为科技写作中研究结果的重要呈现方式。根据统计分析问题所涉及变量数量的不同,描述统计所用的概况汇总统计量和图分析工具不尽相同。
(22)单变量试验数据的描述指标
1.中心趋势:中心趋势是对已获得样本实现的“中心”的描述。
2.统计散布特征:统计散布是对已获得样本实现的分散或集聚状态的描述。反映样本实现中数值变异程度,是人们借助样本实现评估所研究变量取值聚散程度或受不确定原因干扰程度的重要依据。
3.样本频率分布表与频率直方图:描述了样本实现中的数值的分布,是样本实现的一种概况汇总形式。
4.箱线图与异常值:以图形描述样本实现中数值的分布的简便形式,对总体的分布没有任何约束的条件下,箱线图直观地展现了样本实现中的数值的分布特征。
在样本实现中,若存在一些数值明显地偏离该样本实现中其他绝大多数值,则这些数值称之为异常值。
5.分位数-分位数图:直观的展示研究变量的分布与任意指定分布一致程度,是直观验证研究变量分布假设的重要统计图工具。
(23)双变量试验数据的描述指标
1.变量间相依性描述:适用于两连续变量间线性相依关系的统计描述。
2.斯皮尔曼样本秩相关系数:适合于连续变量或离散变量间单调相依关系的统计描述。
3.肯德尔样本相关系数:适合于连续变量或两有序取值变量间和谐性相依关系的统计描述。
4.距离系数:适合用于连续变(向)量间相依关系的统计描述。