什么是信度和效度?
信度代表的是数据的可靠性程度和一致性程度,它能够反映数据的稳定性和集中程度。效度是指测量工具能够准确测量出事物真实情况的能力,它能够反映数据的准确性。信度与效度的区别和联系可以用下面四幅图表示:
第一幅图的弹孔是散布在整个靶图上的,有两个特点:1、点与点之间的距离很大,说明运动员的稳定性差;2、几乎没有弹孔落在靶心,说明运动员的准确性也差。说明该射击运动员既没有稳定性,也没有准确性。如果将每个弹孔看作一个数据信息(个案),那么该数据集合是既没有信度(稳定性)也没有效度(准确性)。
第二幅图的弹孔密集的落在一个狭小的区域内,但是偏离了靶心,说明该运动员的射击稳定性很好,但是准确性则不足。同样的,如果弹孔看作数据,那么该数据集合的特点是具有高信度,效度却很低。
第三幅图的弹孔是分散的,但是大部分的弹孔落在了靶心,说明运动员的稳定性不足,但是准确性还是不错的。形容数据集合的话,那么该数据集合是高效度和低信度的。
第四幅图的弹孔密集的落在了靶心,说明该运动员的稳定性和准确性都很好。用来形容数据集合则说明该数据集合是高信度和高效度的。
我们可以具一个不算恰当的比喻,我们说一个人很可靠,是基于他过去的表现是稳定和始终如一的,也就是他的信度很好。如果说一个人不仅可靠而且让人满意,那么这个人应该是不仅能够及时完成工作,而且工作能够完成得很好,超出预期,也就是信度和效度都很好。信度针对是的行为或结果的重复性,效度针对的是行为或结果的有效性。
信度与效度的用途
知道了信度与效度的现实含义以后,相信大家可以想到信度与效度的很多用途。我这里列举三个重要用途:
A. 仪器设备的表现评价
我们购买仪器设备的时候,都会对设备的信度和效度进行评价,我们希望购买的仪器能够长久稳定的准确测量或生产出优质的产品,长久稳定代表信度,准确测量和生产代表效度。在制造业的质量管理科学中,信度和效度是它们跟踪和追求的指标。在这个学科中,信度和效度有另外的名称,例如重复性、再现性等等,但是它们的理论基础其实是一致的。
我们国家有专门的设备计量研究院对企业的各种计量设备进行信度和效度的检验,这是我们国家硬性要求的。
B. 评分信度与效度;
五个裁判打分,信度能够表示5个裁判的打分情况是否稳定及相似;效度表示分数是否能够真实表示出运动员或考生的真正实力。
C. 问卷的信度和效度评价
问卷的信度在于评价收集上来的数据是否真实可靠,也就是检查填写问卷的这些人是不是认真的填写了问卷,还是乱填的。大家可以想象一下,如果一个人胡乱的填写数据,那么有很大的可能他的答案与其它人的答案是南辕北辙的,差异很大,那么就会影响到整份问卷在的信度。因此,大家在收集问卷数据时,应该想各种办法让大家能够认证回答。
问卷的效度是用来研究题目的设置是否能够有效的测量问卷设计者当初设计的初衷,也就是说检验问卷题目的设计是否合理。如果题目是合理的,那么它就能够有效地测量出问卷设计者的设计目的和初衷。
信度的分析类型
信度分析的目的是检验受访者是否真实的回答了问卷的问题,收集上来的数据是否真实可靠。根据测量工具的不同,信度指标可以分成四类,如下图所示:
重测信度:是指用同样的测量工具,对同一组被测者隔一定时间重复测量,考察两次测量结果的相关程度,可以直接采用相关分析,得到的相关系数即为重测信度系数。重复信度能够检验时间差异带来的数据误差,该误差不是测量工具不直接有测量工具造成,而且测量的是同一组被测者,因此称为外在信度。
复本信度是指让同一组被测者一次填写两份平行问卷,计算两份数据的相关系数,复本信度要求两份问卷除了在问题表述不同之外,其余方面要完全一致,实际操作比较困难。
折半信度是指将一份问卷分成两部分,计算这两部分的相关系数,即折半信度系数,以此来衡量整份问卷的信度。
α系数又称克朗巴哈新书,是最常用的测量内部一致性信度的方法,计算出的克朗巴哈α系数是所有可能折半信度的均值,取值在0-1之间,系数越高一致性越好,说明数据的真实性越高。α系数是问卷数据真实性检验的最重要指标。
效度分析类型
效度是指测量工具能够准确测量出事物所要测量特性的程度,效度越高表示测量真实性越高,由于真实值往往未知,所以我们对于效度的评价也不可能永恒不变的,随着设定和对比的“真实值”变化,效度指标也会发生变化。也就是说,效度的指标的种类会有很多。效度分析可以分成以下三种内容:
内容效度:是一种定性的评价标准,主要通过经验判断进行,主要是通过专家和有经验的业内人士进行评价的方法。还可以对问卷在正式使用前进行小范围的使用,结合结果进行题项的修正以说明问卷的有效性。内容效度一般不需要使用SPSS进行数据分析,但是需要专家和权威老师的指导,前测修改过程,最后对问卷的内容效度进行说明。
结构效度:是指测量题项与测量方向之间的对应关系,其测量方法是因子分析。因子分析的数据计算理论比较复杂,我们可以举个例子。
校标效度; 人为指定确定的结果作为“准确标准”,考察其他待测结果与其是否一致。例如,考试卷中的选择题都会有准确答案,那么每题的正确率就是这个班级在该题上的效度。