首先了解一下一致性检验的定义和类别:
参考:一致性检验 (qq.com)https://mp.weixin.qq.com/s/9oBOeK_V6UJWjbyMBCHIdw
本次分析的目的是验证多种测量方法(三组连续变量)的一致性,考虑用“组内相关系数ICC”来实现:
MATLAB有直接计算ICC的函数:
但是这个函数需要先从官网上下载,登记一下邮箱账号就能下载
Intraclass Correlation Coefficient (ICC) - File Exchange - MATLAB Central (mathworks.cn)
然后将代码的路径添加进去
[r, LB, UB, F, df1, df2, p] = ICC(M, type, alpha, r0)
输入:
M 是观察矩阵。每行都是一个测量对象,每列都是判断或度量。
type 是一个字符串,是所需的六个可能代码之一
type of ICC:
'1-1': 对随机选择的对象进行的测量之间的绝对一致性程度,它估计任意两个测量之间的相关性。The degree of absolute agreement. single randomly
'1-k': 测量的绝对一致性程度,是对随机选择的对象进行k次独立测量的平均值。The degree of absolute agreement. averages randomly
'C-1': case 2: 测量之间的一致性程度。也被称为作为参考标准的可靠性和对锚点的Winer调整。The degree of consistency among measurements. single fixed
case 3: 在固定水平的列因子条件下进行的测量之间的一致性程度。该ICC估计任何两个测量值的相关性,但是当存在相互作用时,它会低估可靠性。
'C-k': case 2: 测量的一致性程度是随机选择的k个独立测量对象的平均值。在心理学中被称为克伦巴赫(Cronbach)alpha。 The degree of consistency among measurements. averages fixed
case 3: k个独立平均值的一致性程度,在固定水平的列因子下采取的措施。
'A-1': case 2: 测量之间的绝对一致程度。也称为标准参考的可靠性。 The degree of absolute agreement among measurements single fixed
case 3: 在固定的列因子水平下进行的测量的绝对一致性。
'A-k': case 2: 测量结果的绝对一致程度,对随机选择的对象进行k次独立测量的平均值。 The degree of absolute agreement among measurements averages fixed
case 3: 基于在固定列因子水平下进行的k个独立测量而得出的测量的绝对一致性程度。
consistency/absolute agreement | single/average | fixed/randomly | |
'1-1' | absolute agreement | single | randomly |
'1-k' | absolute agreement | averages | randomly |
'C-1' | consistency | single | fixed |
'C-k' | consistency | averages | fixed |
'A-1' | absolute agreement | single | fixed |
'A-k' | absolute agreement | averages | fixed |
ICC是估计的类内相关性。LB和UB较高,以及具有显着性水平的ICC下限。
除了估算ICC之外,还进行假设检验。零假设是ICC = r0。该测试的F值,自由度和相应的p值为报告。
type参数选择问题:
1.选择one-way model或two-way model?
(1)one-way radom effects model:单因素随机效应模型,当考虑个体效应随机时使用。每个被试者由不同的随机选择的评定者评分或所有被试者由一个评定者评分,用于检验每个被试的均值全部相等的假设,实际上并不能检验x的重测信度。若对被试者间的差异感兴趣,可选用该模型。
(2)two-way radom effects model:两因素随机效应模型,当个体效应和条目效应都是随机时选用。即所有效应互相独立。
(3)two-way mixed effects model:两因素混合效应模型,当个体效应随机,条目效应固定时选用。
(2)和(3)同时分解了行变量和列变量的影响,可以用来检验重测信度。二者的区别在于列变量即评定者效应是随机效应还是固定效应。若评定者来自所有可能的情况,统计推断也限于这些情况,则评定者效应是固定效应;若评定者是从一个理论上无限大的总体中随机抽样而来的样本,统计推断也要推广到该总体,则评定者效应是随机效应。不管列变量是固定效应还是随机效应,ICC的计算结果均相同,不同之处是结果解释时(2)中的ICC可推广到所有可能的评定者,而(3)中的ICC仅限于给定的评定者。
三种情况下的模型比较:
2.选择single measure或average measure?
single measure ICC分析单元是每个评定者的评分,给出单个评定者评分的可靠性,若进一步研究时使用单个评定者评分,则采用此度量;
average measure ICC分析单元是k个评定者评分的均值,给出k个评定者评分的可靠性,如果研究设计使用每个条目多个评定者评分的均值时采用此度量。
3.选择absolute agreement或consistency?
absolute agreement和consistency定义的不同在分母。
对absolute agreement,由于考虑评定者系统误差,分母方差中保留了列方差即评定者方差,用于测量评定者是否给予被试者相同的绝对评分;
对consistency,由于不考虑评定者系统误差,分母方差中去掉列方差即评定者方差,用于测量评定者评分是否高度相关。
建议ICC应大于0.8,0.61-0.8为中等,0.41-0.6为一般,0.11-0.4为较低,0.1以下为无一致性。
测试:
测试数据目的:评判同一指标的三种方法的内部一致性,故考虑采用
'1-k' | absolute agreement | averages | randomly |
评判 randomly (个体效应和条目效应都是随机); averages (k个评定者评分的均值,给出k个评定者评分的可靠性); absolute agreement (考虑评定者系统误差,分母方差中保留了列方差即评定者方差,用于测量评定者是否给予被试者相同的绝对评分)
eg: [r, LB, UB, F, df1, df2, p] = ICC(M, '1-k', 0.01, 0);
alpha, r0 可以输,也可以不输入,默认是 alpha=0.05,r0=0(零假设是不相关)
输出参数r ,就是ICC
输出参数F,p,就是零假设 r0=0的F检验的F值,p值
LB,UB是IC的上下限
另:关于MATLAB脚本中关于 ‘A-k’ 的计算,有人提出了质疑,可能存在错误,如果用这个需要注意一下
其他资料: