计算机模拟病例考试试题,计算机模拟病例考试的效标—关联效度研究

摘要：

前言 计算机模拟病例(Computer-based Case Simulations,CCS)考试在医学教育领域的应用是新近开展的考试方法之一,其作用是考核医学生临床能力。这方面能力主要在临床实习阶段培养和提高,临床实习是医学教育的重要阶段,培养医学生发现问题、分析问题、解决问题的能力。实习生的临床实践能力直接影响着医疗活动的效果。该项考试技术在医学教育领域中的研究始于上世纪美国,经过不断的发展和完善,美国医学考试委员会于1999年将计算机模拟病例应用在医师执照考试的第三部分。 我校从2001年以来开发的计算机模拟病例考试软件系统。运行软件后计算机界面提供病情简介和来诊时的病例信息,操作者以文本方式输入医嘱,针对计算机反馈的信息,操作者进一步决定进行诊断学检查的项目、采用何种治疗措施以及如何监控患者的病情。随着不断推进模拟时间,模拟患者的病情根据疾病本身和操作者的干预不断地发生变化,直至病例结束。目前我们开发的计算机模拟病例考试系统可以识别约2100条诊断学检查和治疗方法的信息。计算机模拟病例考试的评分由计算机评分程序完成,计算机记录患者管理中的每个步骤,并为其表现评分。 近年来,随着该项考试技术的完善,我国医学教育评价领域的研究者逐渐将目光投向计算机模拟病例考试应用在考察医学生临床能力上来;浙江大学医学院、汕头大学医学院、华西医科大学等均有该领域研究报道,认为计算机模拟病例在考察医学生临床思维考核方面比以笔与纸为载体的试题具有极其明显的优越性,但是这些研究均将注意力集中到该项考试的设计与开发上,缺乏对这项考试效度方面的研究。对于新开发的考试来说,效度方面的研究更需要引起特别的关注。 以往由于我校计算机模拟病例考试使用的病例数目较少,所以未对该项考试在效度方面做详细分析。而2005年的临床本科生毕业考试中共投入使用36个模拟病例,每名考生除了完成1个公共病例外,还要从其余35个病例中随机抽取完成3个模拟病例。试后运用教育测量学方法,对本次的计算机模拟病例考试的信度、效度、难度、区分度进行了分析,重点研究了该考试的效标-关联效度;运用统计学方法对考试数据进行了相关分析和线性回归方程;并使用问卷调查法研究了考生对计算机模拟病例考试评价的基本情况。旨在发现该项考试能否科学、有效地评价临床实习后的医学生应具备的临床实践能力。 对象与方法 中国医科大学2005届临床医学专业350名本科生为研究对象,包括五年制的临床本科生241人,六年制的临床本科生109人;其中男生146名,女生204名。考试时间从2005年4月16日至4月27日,每天考试分上午、下午和晚上三个时段。依据计算机模拟病例考试的流程设计进行测试,试后分析教育测量学的指标:考试信度、效标-关联效度、难度和区分度;对各组间各指标差异采用卡方检验或方差分析,各变量之间的相关性使用相关分析、回归方程;统计分析计算机模拟病例考试效度等情况问卷调查结果;严格地按照考试要求监考、严肃考试纪律,减小它对考试的信度和效度的影响。所有分析使用SPSS12.0软件包运算。 结果 一、计算机模拟病例的考试基本情况 整个客观结构化临床多站考试(Objective Structured Clinical Examination,OSCE)的信度为0.86,CCS成绩占OSCE的25%,OSCE成绩占整个毕业考试的50%;CCS考试中的信度为0.74,效度为0.256(效标以第四学年末理论综合考试成绩)与0.354(效标以第五学年末理论综合考试成绩)。这次CCS考试的平均分为4.64,标准差为0.53,平均难度为0.43,平均区分度为0.38。 二、效标-关联效度的分析 本次CCS考试与标准化病人(SP)考试成绩、临床基础成绩、第四学年末理论综合考试成绩、第五学年末理论综合考试成绩的相关性具有显著统计学意义;与基础医学成绩、临床课成绩相关性有统计学意义。 CCS考试成绩回归方程中:SP考试成绩;第四学年末理论综合考试成绩;临床课成绩;基础医学成绩作为变量进入回归方程。CCS考试与SP和理论综合考试相关分析得到相关系数分别为0.297和0.354,相关性具有显著统计学意义。 三、CCS考试效度等情况问卷调查的结果 问卷调查结果,日常教学中愿意参加这种形式的模拟病例练习的考生比例占到99.4%;95.9%的考生认为模拟病例考试真实地再现了临床诊疗过程;规定时间内,四个病例都完整做完的考生占49.1%;72.5%的考生认为CCS考试能够评价考生自己临床处理问题的一些能力;75.6%的考生回答问卷时表示重视对临床实习过程中的诊疗思维能力。 将考生的性别、学制(临床专业五年制和六年制)和考试时段(每天分上午、下午和晚上三个时段)作为变量因素,对每个问题的回答情况进行x~2检验,男、女生之间的模拟病例考试问卷回答情况无显著性差异;临床专业五年制考生和六年制外语班考生的问卷回答无显著性差异,但是在问题1中“考试之前,了解CCS考试的途径”的回答,两组考生的差异性显著;每天上午、下午和晚上不同的考试时段考生的问卷回答情况无显著性差异。不同性别、学制和考试时段的考生回答问卷的比较结果发现,均无统计学差异。 讨论 一、CCS考试的信度与病例难度、区分度的分析 (一) CCS考试的信度 2005年的计算机模拟病例的可靠性较好,但是仍未达到0.85以上的水平。考试的难度大影响了考试信度。信度系数与以往对比(2002年的信度系数是0.27),我们发现可靠性有一定幅度的提高。 (二) CCS考试的病例难度与区分度 本次计算机模拟病例考试的平均难度是0.43,说明该项考试的难度较大,可能的原因:第一,许多考生第一次接触这种形式的考试。第二,考生在教学医院的实习中没有充分重视培养自身的临床思维能力。 本次考试总共使用了36个模拟病例,共有20个病例的区分度系数在0.40以上,可以认为病例的区分度是非常好的。 二、CCS考试的效度分析 考试的效度是整个考试所应全力追求并要切实保证的最基本的测验质量特性。效度跟信度不同,无法用一个单一的数字指标来简单地加以表达。 (一) CCS考试的表面效度 表面效度是指从外表看就可以明白考试是要测量什么。鉴于考生对考试的认可和接受程度,以及积极的态度参与CCS考试,可以认为本次的计算机模拟病例考试的表面效度较好。 (二) CCS考试的内容效度 CCS考核考生的临床能力范围比较全面,基本能代表临床训练的特定目标,可以作为评定个人临床能力成绩的一部分标准。由于目前关于内容效度的估计尚无恰当的计算方法,所以通过专家判断法和对考生从36个模拟病例中抽查完成的4个病例的表现定性地推测该项考试的内容效度。 (三) CCS考试的效标-关联效度 CCS考试与第五年理论综合考试和SP考试的相关系数分别为0.354和0.297,相关性具有显著统计学意义。表明属于认知领域CCS考试与第五学年末的理论综合考试测量考生临床能力方面具有一致性;SP考试属于精神运动领域,CCS考试与SP考试的相关性说明两个教育目标领域具有关联性。本次考试以平时其他学科按传统分类的各科成绩为效标,相关程度有显著性意义,说明本次的效标-关联效度较好。 (四) CCS考试研究尚待解决的问题 由于结构效度涉及假设检验的过程,同时又不同于共时效度或者预测效度的是,它不涉及任何特别的效度系数。因此,这部分内容仍需要进一步的研究。 结论 1、本次CCS考试是可靠而有效的。 2、以第四学年末和第五学年末的理论综合考试成绩作效标,测量本次CCS考试的效标-关联效度较好。 3、在测量考生临床能力方面,CCS考试更侧重于临床思维能力的评价。 4、本次CCS考试的结构效度需要进一步研究。

展开