反向题在测试问卷信效度_九种方法筛选无效问卷及对研究设计的启示

引言

随着网络及智能手机的普及，传统的一些纸笔测验渐渐被网络问卷所替代。网络问卷由于其便捷性，很大程度上方便了研究者和被试。2018年JOM一篇文章发现越来越多的研究者开始使用网络问卷收集数据，相关发表的文章也呈现逐年增加的趋势(参见Porter, Outlaw, Gale, & Cho, 2018)。且很多文章都发表在领域内比较好的刊物，如AMJ (53), ASQ(12), JAP高达130多篇。

图片来源：Porter, C. O. L. H., Outlaw, R., Gale, J. P., & Cho, T. S. (2018). The Use of Online Panel Data in Management Research: A Review and Recommendations. Journal of Management

然而，网络问卷调查最大的问题在于研究者不能直接观察被试，对于被试是否认真作答完全不知情。虽然你可以设定每个题目为必填项(这样也就没有了“缺失值”)，但你无法得知被试有没有读指导语和题目，甚至极大可能只是随便填写。

你也可以控制作答时间，比如某一页设置至少多少秒。我们的被试也很聪明，不可能直接填写5555555555555……这样的循环。如果是123411234呢？即便你一眼就可以识别有50个5或者20个1234类似的重复，如果你有500问卷，是要一个个去看？

还有的人可能填写345345345，或者不时调整换个数字，中间间隔几个不一样，这样根本不看题目，完全无意义的作答，你的研究又有何用？所以，数据筛选很有必要。

Porter 等人2018年JOM那篇文章对于网络数据库使用建议中也明确提到数据筛选， attention check(见下图)。

可以预料，随着越来越多研究者使用online data，随后的审稿及发表对于数据筛选会越来越重视。所以，不如趁早学习一些方法，即便不知道是不是真有用(可以持保留态度)，但至少不要让审稿人在数据筛选给你文章挑刺。科学筛选数据也会一定程度上增加我们研究设计的严谨性。本文将介绍九种常见的数据筛选方式，并教你如何用统计软件实现(而非肉眼去看)。

需要说明一点：下文所提方法基于5篇核心文献。如果有遗漏更好的办法，欢迎分享~

在谈具体筛选无效被试方法之前，我们先看看哪些因素可以影响被试是否认真作答。Meade 和 Craig (2012) 发在Psychology Methods 上的文章提到，四个因素可以影响(Factor influence vareless responses):

1. Interest 被试是否感兴趣

(很多心理学研究让本科生参与问卷调查只是换取学分，很难说被试对研究感兴趣)，对应的可以use incentives，比如钱……

2. Survey Length 问卷的长度

避免太长，将心比心，问卷越长大家越不耐烦，越容易出现胡乱填写。

3. Social Contact 社会接触

被试与研究者之间是否能面对面交流。显然在线问卷调查很难实现这点。

4. Environmental Distraction 

周围环境的干扰

比如被试可能只是在地铁上，上下班无聊，顺便随手填个问卷，还能挣个晚饭。。。外部环境的干扰肯定会影响作答质量，这也是心理学实验为什么要在实验室进行，小房间什么也没有只有一台电脑，以尽可能减少干扰。

研究设计的启示：

1. Using longer items

2. Using both positive and negative wording

3. If possible observe the participants & time their response (e.g., online)(DeSimone, Harms, & & DeSimone, 2015)

你已经付了被试费，然而不能见你的被试，问卷的长度也控制到100题左右。然而，那么接下来的问题是如何筛选不认真作答被试呢？

简单而言可以通过两种方式：其一是在问卷设计时候插入一些筛选题目；其二是数据收集完成之后通过一些统计方法进行识别和筛选。Generally two types: Study design and psot-hoc analysis (Meade & Craig, 2012). 最主要的三种非干扰方法为: 

recording response time(Behrend, Sharek, Meade, &Wiebe, 2011; Berry et al., 1992), 

the number of consecutive identical responses provided by the respondent (“longstring”; Behrend et al., 2011; Huang et al., 2012; Meade & Craig, 2012), and individual response variability (IRV; Dunn, Heggestad, Shanock, & Nels, in press).

DeSimone et al., 2015

甄别方法主要包括两种：

问卷设计法

方法1	诈选题(Bogus items)
方法2	指定选项题目(Instructed items)
方法3	自我报告是否认真作答 (self-reported diligence)

统计分析法

方法4	作答时间 (response time)
方法5 </