文章目录
CTT(classical test theory)
历史
由Novick(1996)提出, 在Lord & Novick (1968) 和 Allen & Yen (1979/2002)中有描述。
定义
X o b s e r v e d s c o r e = T t r u e s c o r e + E e r r o r X_{observed\ score} = T_{true\ score} +E_{error} Xobserved score=Ttrue score+Eerror
可信度为
ρ
X
T
2
=
σ
T
2
σ
X
2
=
σ
T
2
σ
T
2
+
σ
X
2
\rho^{2}_{XT} = \frac{\sigma^{2}_{T} }{\sigma^{2}_{X} } = \frac{\sigma^{2}_{T} }{\sigma^{2}_{T} + \sigma^{2}_{X} }
ρXT2=σX2σT2=σT2+σX2σT2
因为
T
t
r
u
e
s
c
o
r
e
T_{true\ score}
Ttrue score未知,所以无法直接计算可信度
parallel test
一个方法是进行parallel test,
即定义
ε
(
X
i
)
=
ε
(
X
i
′
)
\varepsilon(X_{i}) = \varepsilon(X^{'}_{i})
ε(Xi)=ε(Xi′)
σ
E
i
2
=
σ
E
i
′
2
\sigma^{2}_{E_{i}} = \sigma^{2}_{E^{'}_{i}}
σEi2=σEi′2
则
ρ
X
X
′
2
=
σ
X
X
′
σ
X
σ
X
′
=
σ
T
2
σ
X
2
=
σ
T
2
σ
T
2
+
σ
X
2
\rho^{2}_{XX^{'}} = \frac{\sigma_{XX^{'}} }{\sigma_{X} \sigma_{X^{'}}} = \frac{\sigma^{2}_{T} }{\sigma^{2}_{X} } = \frac{\sigma^{2}_{T} }{\sigma^{2}_{T} + \sigma^{2}_{X} }
ρXX′2=σXσX′σXX′=σX2σT2=σT2+σX2σT2
parallel test同样很难实现
Cronbach’s α \alpha α
所以考虑另一个方法
一个测试由
k
k
k项组成,第
i
i
i个人的总成绩由这
k
k
k项的成绩相加得到,
X
i
=
∑
j
=
1
k
U
i
j
X _{i} = \sum_{j=1}^{k} U_{ij}
Xi=j=1∑kUij
α
=
k
k
−
1
(
1
−
∑
j
=
1
k
σ
U
j
2
σ
X
2
)
\alpha = \frac{k}{k-1}(1-\frac{\begin{matrix} \sum_{j=1}^k \sigma^2_{U_j} \end{matrix}}{\sigma^2_X})
α=k−1k(1−σX2∑j=1kσUj2)
α
\alpha
α是reliability的一个下界, 但是其每个值所表示的意义经过论证,只有经过实践经验所测定的意义。
α
>
9
\alpha>9
α>9意味着test中的items(测试项)有多余
α
≈
8
\alpha\approx8
α≈8是推荐的值,但是对于高风险测试(GRE, GMAT),
α
.
9
+
\alpha.9+
α.9+是推荐的范围
项目评估
一个测试中的各个项目的评估要使用两种方法
P-value
p-value被称为项目难度指数
item-total correlation
item-total correlation被称为项目区分度指数
缺点
CTT的一个目的是预测一个人在一个测试中的表现(分数),但是:
- 参加测试的人和对应的测试不可分割:同一个人在不同测试中的表现可能不同
- reliability的定义是测试分数在平行测试中的相关性,但是平行测试的定义不统一
- 论证假设测试误差是相同的,但实际上不是:一个人的能力和测试得到的分数不是线性相关的,想要从50分考到60分很容易,但是想要从90分考到100分却很难
- 不能直接观察测试者在不同项目中的表现
IRT(Item response theory)
对于CTT的改进
- 以项目为单位,而不是CTT中的以测试为单位
- 参数具有不变性:在项目反应理论下,项目的难度参数、区分度参数及被试的能力参数具有不变性。
- 在 IRT 中引入了项目特征曲线,这将项目难度、项目区分度以及被试的能力进行了有机的统一。
- IRT 中的信息函数反映了在不同的能力水平处,每个项目所提供的信息量的大小,信息量最大处的能力水平估计误差最小
- 被试的能力参数与项目的难度参数是定义在同一个量表上的,当一个被试的能力参数已知时,配一个项目参数已知的测验,即可预测被试的正确反应概率。
定义
IRT的基本思想是,对一个项目正确的回答是一个概率,那么最后的表现和分数就是一个关于人和项目参数的函数。
三大假设
- 由 θ \theta θ表示的被测试者的一维特征,及其某一方面的能力
- 项目的局部独立性:假设被试在每一个项目上的作答反应是相互独立,互不影响的,作答反应只与被试自身的能力水平有关,与其他元素无关。
- 被测试者对一个项目的作答可以可以通过一个数学函数IR(item response function)来建模
IRF
IRF给出了具有特定能力水平的人正确回答问题的概率。
3PL(three parameter logistic model)
p
i
(
θ
)
=
c
i
+
1
−
c
i
1
+
e
−
a
i
(
θ
−
b
i
)
p_{i}(\theta) = c_{i} + \frac{1-c_{i}}{1+e^{-a_{i}(\theta-b_i)}}
pi(θ)=ci+1+e−ai(θ−bi)1−ci
θ
\theta
θ被定义为人的能力是一个正态分布的样本
a
i
,
b
i
,
c
i
a_i,b_i,c_i
ai,bi,ci是项目的参数
i
i
i是项目类型
IRF形态
参数 | 定义 | 解释 |
---|---|---|
θ \theta θ | 被试的能力值 | 表示被试在项目或题目所要考核的知识点或能力方面的掌握程度 |
a i a_i ai | 项目的区分度系数 | 表示项目或题目的区分度,在曲线中影响曲线中部的斜率,当斜率越小,那么就很难将被试的测试分数结果区分开 |
b i b_i bi | 项目的难度系数 | 表示项目或题目的难度,在曲线中代表曲线横轴方向的位移,难度系数越大,则被试想要获得比较高的分数就需要比较高的能力 |
c i c_i ci | 项目的猜测系数 | 表示即使被试对测试的项目一点先验知识都没有,靠蒙也能蒙对的概率,比如选择题有0.25的概率 |
纵轴( p i ( θ ) p_{i}(\theta) pi(θ)) | 被试做对该项目的概率 |
PL模型分类
参数数量 | 参数 | 解释 |
---|---|---|
1 | b i b_i bi | 认为 c i c_i ci是能力的一部分,且 a i a_i ai被认为是相同的 |
2 | a i , b i a_i,b_i ai,bi | 没有 c i c_i ci |
3 | a i , b i , c i a_i,b_i,c_i ai,bi,ci | |
4 | a i , b i , c i , d i a_i,b_i,c_i,d_i ai,bi,ci,di | d i d_i di被定义为上渐进线 |
逻辑正态模型
基于正态分布构建IRF
p
i
(
θ
)
=
Φ
(
θ
−
b
i
σ
i
)
p_i(\theta) = \Phi(\frac{\theta-b_i}{\sigma_i})
pi(θ)=Φ(σiθ−bi)
参数 | 定义 | 解释 |
---|---|---|
θ \theta θ | 被试的能力值 | 表示被试在项目或题目所要考核的知识点或能力方面的掌握程度 |
b i b_i bi | 项目的难度系数 | 表示项目或题目的难度,在曲线中代表曲线横轴方向的位移,难度系数越大,则被试想要获得比较高的分数就需要比较高的能力 |
σ i \sigma_i σi | 项目的区分度 | 第 i i i项测量误差的标准差,相当于 1 / a i 1/ a_i 1/ai |
纵轴( p i ( θ ) p_{i}(\theta) pi(θ)) | 被试做对该项目的概率 |
模型拟合分析
如果数据不能良好的拟合模型,说明测试项不够好,但应该再找出无法良好的拟合的原因后再删除后者改进测试项,因为比如,一个英语非母语的人参加测试,得出的数据无法拟合模型,不能说明改模型有问题,而是应该这个人不是目标测试人群。所以数据有偏差。
项目信息
CTT中reliability的定义相当简单,就是实际分数和观察分数方差的比值。
但是分数不是呈线性分布的,在测试范围的边缘部分相比于中间部分会有更多的错误。
所以IRT用项目和测试信息来代替CTT中的reliability。根据费雪信息理论,项目信息为:
I
(
θ
)
=
p
i
(
θ
)
q
i
(
θ
)
I(\theta) = p_i(\theta)q_i(\theta)
I(θ)=pi(θ)qi(θ)
这个估计的标准差为:
S
E
(
θ
)
=
1
I
(
θ
)
SE(\theta) = \frac{1}{\sqrt{I(\theta)}}
SE(θ)=I(θ)1
这个公式表示项目的信息越多,测试的误差越小
两个参数模型
I ( θ ) = a i 2 p i ( θ ) q i ( θ ) I(\theta) = a_i^2p_i(\theta)q_i(\theta) I(θ)=ai2pi(θ)qi(θ)
三个参数模型
I
(
θ
)
=
a
i
2
(
p
i
(
θ
)
−
c
i
)
2
(
1
−
c
i
)
2
q
i
(
θ
)
p
i
(
θ
)
I(\theta) = a_i^2\frac{(p_i(\theta)-c_i)^2}{(1-c_i)^2}\frac{q_i(\theta)}{p_i(\theta)}
I(θ)=ai2(1−ci)2(pi(θ)−ci)2pi(θ)qi(θ)
因为每个项目之间是独立的,所以整个测试的信息是每个项目信息的简单加和