普通问卷不需要进行信效度分析!量表问卷5类信度、4类效度指标详解及标准

“为什么我的问卷数据被导师打回?”熬了3天跑完信效度分析,却被导师痛批「画蛇添足」?

在学术研究中,问卷是一种常用的数据收集工具。然而,很多人对问卷的信效度分析存在误解,认为所有问卷都需要进行信效度分析。事实上,并非所有问卷都需要进行信效度分析,关键在于区分普通问卷和量表问卷。

一、普通问卷不需要进行信效度分析

先说结论:普通问卷不需要进行信效度分析,信度和效度分析主要是针对量表问卷。

1普通问卷

普通问卷通常无需进行系统的信度和效度分析,这类问卷主要用于收集事实性信息或进行描述性统计分析。

普通问卷问题设计具有多样性,包含单选题、多选题、填空题、开放题、排序题等多种类型,适用于探索性研究或特定信息获取需求。由于问题间缺乏统一的测量维度和理论框架,传统意义上的信效度分析对其并不适用

2、量表问卷

量表题专门用于测量抽象构念,如心理状态(焦虑、抑郁)、主观感受(幸福感、满意度)或行为倾向等难以直接观测的变量。以李克特量表为例,其典型结构包含:

  • 陈述形式:由一组态度陈述构成(如"我感到持续的情绪低落");
  • 量化处理:将文字响应转换为等距数值(如非常同意=5,同意=4,不一定=3,不同意=2,非常不同意=1);
  • 总分计算:通过加总各题得分形成量表总分,反映被测者在特定构念上的程度或状态。

信效度分析是确保量表问卷能够准确、可靠地反映所测量的潜变量(如态度、能力、心理状态等)的关键步骤,是提升研究质量和结果可信度的必要保障。

3、总结

总结来说,是否需要进行信效度分析的关键在于问卷中量表题的数量和结构

  • 如果一个问卷中包含多个相关的量表题,且这些题目能够聚合以测量同一维度(通常每个维度至少包含2-3个题目),并对不同维度进行区分,那么进行信效度分析就是必要且可行的。同时需要注意,即便是使用前人已经验证过的成熟量表,也需要再进行一次信效度分析
  • 相反,如果问卷中仅包含个别量表题,或者完全由普通问卷题构成,则不需要进行信效度分析。

了解了什么样的问卷题目适合进行信效度分析,接下来介绍信度与效度分析常用指标与评价标准。

一般先进行信度分析,再进行效度分析。信度与效度的关系为:信度高效度不一定高,但信度低效度一定低

二、5类信度系数

信度用于分析测量工具的稳定性与一致性,即评估同一群体在不同时间或不同评分者使用相同工具时,所得结果的可靠程度。常用的信度指标有克隆巴赫α信度系数、折半信度、McDonald's ω信度系数、theta信度系数、重测信度5类。接下来分别进行介绍。

1、克隆巴赫α信度系数

在学术研究中最常用的信度指标之一为Cronbach α系数,简称α系数。该系数介于0到1之间,Cronbach α系数越高代表量表的一致性越高。
(1)计算公式

Cronbach α系数计算公式为:

(2)评价标准

(3)软件操作及指标解读

  • 软件操作

量表题的数据格式为:一列代表一个问题,一行代表一个样本,分别用数字1-5表示量表题被选择项,将数据整理成如下格式:

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择Cronbach α系数;操作如下图:

【提示】信度分析以维度为单位进行分析,最终需要将各维度α系数值进行汇总整理成表格输出。

  • 分析结果

SPSSAU输出Cronbach信度分析结果如下:

  • 校正项总计相关性(CITC)该分析项与余下各项和之间的Pearson相关系数,反映了该项与余下各项之间的相关程度。此指标用于判断题项是否应该作删除处理,如果值小于0.3,通常应该考虑将对应项进行删除处理。
  • 项已删除的α系数:该分析项删除后,余下分析项的α系数。此指标用于判断题项是否应该作删除处理,如果该值明显高于”α系数”值,此时应该考虑将对应项进行删除处理。

分析上表可知,维度A的Cronbach α系数为0.859,表明维度A的信度非常好。同样的操作将其他维度依次进行信度分析,最终整理成如下表格,汇报在论文中:

2、折半信度系数

折半系数将量表题项分为两半,通过计算两半得分的 Cronbach α 系数及相关系数,进而估计整个量表的信度。此处应注意,所有题项拆分为两半时,每半的题项个数可能相等也可能不相等,从而分别计算的是等长折半系数和不等长折半系数
(1)计算公式

斯皮尔曼—布朗校正公式为:

需要注意的是,如果测量题目较少,比如10题以下,就不适合用这种方法来估计信度。
(2)评价标准

其判断标准可参考α信度系数的衡量标准。
(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择折半系数,SPSSAU输出折半信度分析结果如下:

  • Cronbach α系数:折半信度会同时输出Cronbach α系数,可以简要描述即可。
  • 折半系数(等长&不等长):如果说测量题数量为偶数,则刚好两部分题项数量相等,反之则不相等。分析时需要结合两部分题项是否相等,查看对应的折半系数。
  • Guttman Split-Half系数:有时候还可以直接使用Guttman Split-Half 系数衡量信度质量,但此类情况较少,更多关注于折半系数。

3McDonald 's ω信度系数

McDonald omega 系数的计算原理是,利用因子分析浓缩信息,即维度或量表所有题项进行因子分析并只提取一个公因子,得到载荷系数 loading 后基于载荷计算 McDonald ω 系数。loading 值整体绝对值越大时,McDonald ω 系数值越高。
(1)计算公式

McDonald's ω信度系数的计算公式如下:

式中,λi为题目在公共因子上的因子载荷,θi是题目的误差方差。

(2)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择McDonald's ω系数。SPSSAU输出McDonald's ω信度系数分析结果如下:

  • 项已删除的McDonald's ω系数:如果“项已删除的McDonald Omega信度系数”值明显高于McDonald Omega信度系数,此时可考虑对将该项进行删除后重新分析。

4theta系数

(1)计算公式

theta 系数的原理同 McDonald omega 系数,也是使用因子分析来研究内部一致性的。其计算公式如下:

式中,k为题目数量,λ1为第一主成分的特征值。

(2)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择theta系数。SPSSAU输出theta信度系数分析结果如下:

  • 项已删除的theta系数:如果“项已删除的theta信度系数”值明显高于theta信度系数,此时可考虑对将该项进行删除后重新分析。

5、重测信度

重测信度通过在不同时间对同一组被试进行两次测量,计算两次测量结果的相关性,以评估测量工具的跨时间一致性。

  • 计算公式

重测信度通常使用Pearson相关系数计算:

重测信度用重测相关系数来表示,相关系数越趋近于1,则重测信度越高。具体可使用SPSSAU【通用方法】模块的Pearson相关分析进行重测信度分析。
【提示】当前在论文中最常用的为第一类克隆巴赫α信度系数,无特殊研究需要,建议使用该方法进行问卷信度分析即可。

三、4类效度分析

效度分析用于评估测量工具反映目标构念真实性的程度,通过内容效度(专家判断题项代表性)、结构效度(因子分析验证维度划分)、区分效度、聚合效度等,确保研究工具能准确捕捉理论概念,为科研结论的可靠性和实践应用的决策有效性提供根本保障。

1、内容效度

内容效度指问卷在内容上反映目标构念或理论框架的真实程度,即题项是否能充分代表所测概念的关键维度。通常内容效度通过文字叙述形式来说明问卷的合理性和科学性,其评估通常通过以下方式实现:

  • 专家评审:由领域专家判断题项与研究构念的相关性、代表性和清晰度(如心理学量表需经临床专家确认题项覆盖核心症状);
  • 目标群体反馈:收集被测者意见,确保题项表述易懂且无歧义;
  • 文献对照:验证题项是否基于权威理论或经典研究(如幸福感量表需包含情感维度和生活满意度维度)。

2、结构效度

(1)概念

结构效度用于检验测量工具(如量表或问卷)的题目结构与理论预设的潜在构念是否一致,来检验维度划分的合理性。结构效度使用探索性因子分析进行检验。

(2)分析步骤

第一:首先分析KMO值;如果此值高于0.8,则说明研究数据非常适合提取信息(从侧面反应出效度很好);如果此值介于0.7~0.8之间,则说明研究数据适合提取信息(从侧面反映出效度较好);如果此值介于0.6~0.7,则说明研究数据比较适合提取信息(从侧面反映出效度一般),如果此值小于0.6,说明数据不适合提取信息(从侧面反映出效度一般)(如果仅两个题;则KMO无论如何均为0.5);

第二:接着分析题项与因子的对应关系;如果对应关系与研究心理预期基本一致,则说明效度良好;

第三:如果效度不佳;或者因子与题项对应关系与预期严重不符,也或者某分析项对应的共同度值低于0.4(有时以0.5为标准);则可考虑对题项进行删除;

第四:删除题项共有常见标准;一是共同度值低于0.4(有时以0.5为标准);二是分析项与因子对应关系出现严重偏差;

第五:重复上述1~4共4个步骤;直至KMO达标;以及题项与因子对应关系与预期基本吻合,最终说明效度良好;

第六:对分析进行总结。


(3)操作

将数据上传至SPSSAU系统,在【进阶方法】模块选择【探索性因子分析】,将所有题项拖拽到右侧分析框,选择维度,操作如下图:

篇幅限制,结构效度分析完整分析过程可查看下方帮助手册说明:效度分析
‌区分效度‌和‌聚合效度‌是结构效度验证中的两个关键子维度,旨在确保测量工具的理论构念之间既具有独立性(区分效度),同时内部题项间具有一致性(聚合效度)。

3、区分效度

(1)概念

区分效度强调本不应该在同一因子的测量项,确实不在同一因子下面。比如设计问卷时,假设要测两个完全不同的特质(比如「数学能力」和「表达能力」),结果发现两类题项混在一个维度里分不开,就说明区分效度差;但如果它们能各自独立归类到对应的维度下,互不干扰,就说明区分效度好。

(2)操作

区分效度与聚合效度都使用验证性因子分析进行研究,上传数据后,将题项按维度分析放入右侧分析框中,编辑“因子名称”,操作如下图:


(3)检验方法

区分效度常用的有3类检验方法AVE平方根判断法、HTMT法、MSVASV。接下来将分别进行介绍。

  • AVE平方根判断法

AVE平方根值可表示因子的‘聚合性’,相关系数表示相关关系,如果因子‘聚合性’很强(明显强于与其它因子间的相关系数绝对值),则能说明具有区分效度;当每个因子的AVE平方根值均大于该因子与其他因子的相关系数的最大值,此时说明具有良好的区分效度
 

  • 计算公式:AVE值=Average(loading平方然后求和),loading值为标准化载荷系数

分析上表:针对因子A,其AVE平方根值为0.778,大于因子间相关系数绝对值的最大值0.734,意味着其具有良好的区分效度。同理分析因子B、C、D都具有良好的区分效度。

  • HTMT

HTMT(heterotrait-monotrait ratio)异质-单质比率,也就是特质间相关与特质内相关的比率。他是不同构面间指标相关的均值相对于相同构面间指标相关的均值乘积的开方的比值。如果HTMT值小于0.85(有时以0.9作为标准),则说明该两因子之间具有区分效度

分析上表:从HTMT分析结果来看,HTMT值出现大于0.85,意味着研究数据区分效度不在标准范围内。

  • MSV和ASV

MSV(Maximum Shared Variance)最大共同方差和ASV(Average Shared Variance)平均共同方差,这两个指标也可用于区分效度判断;MSV值小于AVE的值,并且ASV值小于AVE值则说明具有区分效度

从上表可以看出,大部分因子的MSV值和ASV值都不小于AVE值,说明因子之间的区分效度并不好,进而量表的区分效度也比较差。


注意:不同的区分效度检验方法得到的检验结果可能不同例如上述例题中三种检验区分效度的方式,得到的检验结果就不相同。此时,一般情况下只要有一种检验方式能够说明量表的区分效度良好,就可以认为量表有比较好的区分效度了。并不要求每种检验方式都要通过,才能认为区分效度良好。

4、聚合效度

(1)概念

聚合效度强调本应该在同一因子下的测量项,确实在同一因子下。指不同测量指标(如量表题目或子维度)之间应具有高度相关性,表明这些指标共同、一致地反映了目标概念的潜在特质。简言之,它检验“测量同一事物的题目是否紧密关联”。
(2)检验方法

聚合效度常用的有2种检验方法:①标准载荷系数值均大于0.7为佳,0.5以上也可以接受;②AVE和CR指标,通常情况下AVE大于0.5且CR值大于0.7,说明聚合效度较高。

  • 标准载荷系数

因子载荷系数值的统计意义就是变量i与公共因子j的相关系数(程度),范围为[-1,1],绝对值越接近1,说明变量与公共因子的关系越密切。
标准载荷系数是指经过标准化处理的因子载荷系数。验证性因子分析使用标准载荷系数判断聚合效度。各个测量项的标准载荷系数值大于0.7,说明量表的聚合效度好,或者放宽要求在0.5以上也能接受(社会学科研究编制的量表因子载荷量都不会太高)。

分析上表:标准载荷系数值绝大部分均在0.7以上,说明该量表的聚合效度较高。

  • AVE和CR指标

AVE平均方差萃取(Average Variances Extracted),AVE值= Average(loading平方然后求和),loading值为标准化载荷系数。从公式不难看出,当loading值(标准载荷系数)越大时,AVE值越大,聚合效度越高,一般AVE值大于0.5为好。

CR组合信度(composite reliability),CR值=Sum(loading)^2 / [sum(loading)^2 + sum(e)],e为残差标准载荷系数。从公式依旧可以看出,当标准载荷系数越大时,CR值越大,聚合效度越高,一般CR值大于0.7为好。
综上,AVE值大于0.5,且CR值大于0.7时,量表的聚合效度较高。

分析上表:本例中4个因子的平均方差萃取AVE值均大于0.5,且组合信度CR值均大于0.7,说明本次分析的量表数据具有良好的聚合效度。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值