摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速。语料库语言学除了学科自身发展之外，还成为语言研究和语言教学研究的新工具。而语料库在语言测试方面的研究则以Alderson发表的《语料库在语言

语言学研究 本栏目责任编辑：谢媛媛

Overseas English 海外英语 2018年6月

语料库在语言测试开发和设计中的应用

苏恒

（西南政法大学，重庆 401120）

摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速。语料库语言学除了学科自身发展之外，还成为语言研究和语言教学研究的新工具。而语料库在语言测试方面的研究则以Alderson发表的《语料库在语言测试的角色》一文为开端，之后此类研究蓬勃发展。而国内相关研究还有很大的发展空间。该文主要围绕语料库在语言测试开发和设计过程中的应用展开，并提出了语料库在语言测试运用中的优势和局限性。

关键词：语料库语言学；应用语言学；语料库；语言测试；测试开发

中图分类号：H08 文献标识码：A 文章编号：1009-5039(2018)12-0216-02

有关语料库的定义，语言学家仍未达成一致意见。简单说来，语料库就是文本或部分文本的集合，研究人可以结合该文本进行语言学分析。我国学者杨惠中（2002）曾给出较为全面的定义，语料库指“……按照一定语言规则，运用随机抽样方法，收集自然出现的连续的语言文本或话语片段而建成的具有一定容量的大型电子文库。”语料库语言学使用电脑中储存的大量自然口语和书面语篇章，通过运用计算机，语言学家可以从语料库中发现语言使用中反映的问题。语料库语言学的主要贡献之一就是发现了语言使用的新模式。

Alderson（1996）被认为是最先构想语料库应用于语言测试的语言学家。在其发表的 Do Corpora Have a Role in Language Assessment? 一文中，Alderson率先提出了语料库在语言测试中的若干用途，具体包括试题开发、编写、选材、呈现、分数计算与报道等。此后，语料库于语言测试层面的研究不断涌现（Coni⁃ am, 1997; Baker,2006; Gavioli,2006;），这些研究丰富了语言测试的相关理论。将语料库与语言测试研究结合起来符合目前应用语言学的研究趋势。2017年在上海成功举办了“第三届语言测试与评价国际研讨会暨第五届英语语言测评新方向研讨会”。会议围绕语言能力量表研究、人工智能技术在语言测试中的应用、外语教学及测试的改革与发展等议题进行深入的交流和讨论。语料库研究能为中国语言能力量表的制定提供新思路，新方法。不仅如此，在人工智能浪潮的引领下，如何利用计算机方法辅助语言测试，成为今后研究的热点。为了顺应这一趋势，该文着重探讨语料库在语言测试开发和设计中的作用，并总结语料库应用于语言测试的优势与局限性。

1 语料库在语言测试开发和设计中的应用

Bachman 和 Palmer（1996：87）把语言测试开发和设计分为三个阶段。第一阶段为设计阶段，包括确定考试目的（即考试规范），定义考试构念，描述考生特征，制定评估测试实用性方案等；第二阶段是操作阶段即编制试卷，具体又可细分为设计考试的主体框架，选择测试方式，编制试卷等。第三阶段是考试实施阶段。它包括了实施考试和分析考试结果，以及根据分析结果评估考试质量（即考试效度）。该文借鉴这一理论，重点讨论语料库在考试规范制定，试卷编制和效度检验中的应用。

1.1 语料库在考试规范制定中的作用

考试规范（test specifications）由单个或一系列正式文件组成，详细规定考什么和如何考。考试规范的使用者是考试命题

和评估人员。考试规范详细地表述了考试目的、测试范畴、考试方式、试卷构成、评分标准的使用等。语料库资源可以用于考试规范的制订。通常考试规范制订需要参考相关语言习得理论、教学或课程大纲以及全面分析学习者需求，考生个人特征，考生所具有的背景知识和语言能力等。因此，各类语料库在考试规范制定过程能够发挥积极的作用。比如,口语语料库可用于全国性口语考试规范的制订；教材类语料库可以用于指定学业考试规范。制定人还可以通过对比学习者语料库和本族语语料库，客观地总结外语学习者与本族语学习者之间的差异，根据不同的测试人群，制定出更为科学有效的考试规范。因此，语料库可以在一定程度上减少考试规范制定者的主观性和任意性, 进而提升考试的效度。语料库资源还可以用于命题细则的制订，例如学习者语料库能够帮助考试规范制定者更全面地了解考生的语言能力，从而有效地划定考试能力范畴，考试内容以及考试方式。

1.2 语料库在编制考卷中的应用

试卷的编制过程一般包括试题选材，编写和呈现。语料库在试卷编制的各个环节都能发挥作用。

1）试题选材

语料库可以作为试题选材的来源之一。试题开发者可以通过搜索相关的口语或书面语语言文本的相关变量（来源、体裁、社会语言变体、时间等）来获取所需要的内容。本族语者语料库包含丰富的信息，如词汇、语法、搭配、固定句型等，试题开发者凭借计算机的检索功能得知某一词汇或语法现象的使用频率，再决定是否将其纳入考题范围。若某个语言现象出现的频率较高，这意味着语言学习者在学习过程中有较大概率接触到此种用法，作为重点知识而言，将其列入语言测试的项目的意义就比较突出。但是在试题选材上，传统做法是以教学大纲，教材或者前人开发的语言测试量表为依据设计考题。也有设计者根据自身的教学经验，结合考试目的命题，这种行为往往具有任意性、主观性和盲目性。例如在英语专业测试当中，命题人一般不会使学生注意区分start和begin的区别。但是，基于语料库的调查却发现，start更倾向于与不及物动词连用，特别是在学术文章中（Biber, Conrad & Reppen, 1998）。

2）试题编写

在试题的编写过程中，学习者语料库的作用较为突出。学习者语料库建立在学习者对所学语言的运用和使用的基础之上，通过对学习者语料库的分析，可以总结出学习者在学习过程中的重点、难点、易错点，从而设计出相应的考题，再利用测

收稿日期：2018-03-10 修回日期：2018-03-29

作者简介：苏恒（1992—），男，广西桂林人，助教，硕士研究生，主要研究方向为应用语言学及语言测试。

ISSN 1009-5039Overseas English

http://www.overseaen.net

海 外 英 语

hwsy@overseaen.com

Tel:+86-551-65690811 65690812

216

本栏目责任编辑：谢媛媛 语言学研究

2018年6月 Overseas English 海外英语

试所具有的反拨效应，督促教师和学生积极进行重难点的教与学。

Coniam (1997)是最早将语料库研究与测试开发相结合的研究者之一。在其开展的运用语料库文本编写选项式完形填空测试的探索当中，Coniam 对语料库进行词类标记，然后从该语料库中统计部分单词出现的频率，并创建三种类型的完形填空测试：一种基于“第n个词删除”，一种基于“指定范围内频率单词”删除，一种基于“特定词类所对应单词”删除。依照这三种方式，运用语料库自动生成相应的完形填空试题。虽然三种测试模式在生成“可接受的”测试项目时并不同等成功，但是该研究依然展示了语料库在生成测试方面的巨大潜力。

在我国，邱磊（2008）研究了语料库在英语词汇测试中的作用。他简要介绍了语料库中词汇搭配、同义词近义词在词汇测试中的运用，并设计了部分考题范例。该研究是语料库语言学运用的具体例子。在目前强调语用学的背景下，语料库中的实例比词典中的解释更生动，更自然，能够在编写考题时提供更大的灵感。

3）试题呈现

Alderson (1996)将试题呈现(test presentation)定义为“测试开发者能够使用语料库本身作为考试项目，学习者需要对某一语料库中的语言数据进行判断”。出题人从语料库中随机挑选出一段文字，要求学习者识别该段文字的出处，体裁，说话人的社会地位，说话人性别等。除此之外，也可以要求学习者识别词性、语义、同义词等。例如，在句法分析层面，试题开发人能预先对语料库中的部分语句进行注释，之后收集学生的作答情况，并与注释相比较，再对学习者的语言能力进行评价。直接使用语料库作为测试的工具能够简化试题编写的程序，用计算机收集学生的答题情况并使用计算机自动评估答案，提升了评分效率，避免了人工评分的主观性，降低了因为人工评分造成的错误率。

1.3 语料库在考试效度检验中的应用

效度是语言测试最重要的属性，效度研究贯穿于测试的整个过程。

Alderson(1996) 提出，“所有基于语料库的新形式和考试都应该满足通常对其效度和信度的要求”。效度理论研究的任务，就是提出一套理论框架，为测试结果的解释和使用提供必要的信息。效度理论的发展经历的了单一概念效度阶段，种类概念阶段，和整体概念阶段。关于的效度的验证，Weir（2010）提出了一个框架，效度证据主要来自于五个方面：1)试卷内容； 2)反应过程；3）试卷的内部结构；4）测试分数与其他外部变量的关系；5）测试的后果。关于效度, 语料库可以从试卷内容方面对试卷进行效度验证。因为测试材料选自真实语言文本,具有自然语言特征。

美国教育考试服务中心（简称 ETS）曾采用基于语料库的方法来效验TOEFL考试。为了验证TOEFL中口语和书面语试题是否真实反映了现实生活中的场景，研究人员特别研发了TOEFL2000学术口语和书面语语料库。通过对比考试试题语语料库的文本，并从语法，句法，词汇量等方面对语料库文本进行分析，得出TOEFL考试的试题内容具有较高信度的结论。在我国，穆惠峰（2011）开展了英语专业四级完形填空测试的内容效度验证研究。其运用自建语料库、中国学生英语口笔语语料库、布朗语料库和语国家语料库，以英语专业四级考试的完形填空测试项目为研究对象,对基于测试内容的效度证据进行实证研究。 在研究结论部分其指出了英语专业四级完形填空考试中的不足并就此提出改进建议。此外，邹申、杨任明（2008）指出语料库可以帮助加深对TEM-8（全国高校英语专业八级考试)改错项目内容效度的认识。从以上研究可以看出，语料库验证试卷方面的具有重要的价值。

2 语料库应用于语言测试的优势与局限性

语料库的使用能够为语言测试的开发和设计提供重要的参考和极大的便利。语料库，特别是本族语语料库能够提供大

量的真实语言，测试项目开发者可以参考借鉴这些自然语言以及场景，避免根据自身主观判断导致出现失真的题型；此外，各类语料库都具有频率分析工具，能够准确地统计出单词或词组的使用情况，能够让测试开发者把握考察重点，从而提高了内容的有效程度，体现出客观可靠性的原则。另外，语料库中的词来自不同的语域，文本题材多样（报刊、小说、学术论文等），根据测试目的，可以让考生接触不同题材的考试。

然而，因为语料库的应用仍然处于探索发现阶段，在利用语料库时必然会有一些问题。首先从技术层面而言，虽然在使用语料库时不需要高端电脑技术，但是仍然需要运用语料库工具和软件。试题开发者仍然需要接受相应的训练才能熟练使用。语料库的制作成本十分昂贵，并非所有的语料库都免费开放，在注册语料库后往往需要支付较为昂贵的使用费，这对试题开发者的研究活动造成一定的负担。语料库中的语言文本不一定都符合语法和句法规则，鉴于语料库中庞大的数据，甄别符合考试规范的语句需要花费一定的时间。

3 结束语

语料库语言学的研究日渐成熟，语料库方法也广泛应用于语言研究、语言教学研究、语言测试等领域。语言测试开发者已经把语料库作为试题开发和科研调查的重要工具。从以上分析可以看出，语料库在制定考试规范、试题的选材、编写呈现和试题的效度验证中都能发挥巨大的作用。此外，语料库使用大量自然语言，使测试内容更加真实、有效、更具有代表性。语料库的受益者不仅仅局限于考试开发者，教师和学习者也能通过语料库调整自己的教学活动，这提升了工作效率，让教学活动更具有针对性。总之，语料库在语言测试，特别是在试题开发和设计中的作用不可小觑，语言测试设计者也应当积极学习和掌握相关技术，积极运用语料库来改进我国的英语语言测试。

参考文献：

[1] Alderson J C. Do corpora have a role in language assessment? [C]// Thomas J, Short M. Using corpora for language for lan⁃ guage research. Beijing: Foreign Language Teaching and Re⁃ search Press, 1996: 248-259.

[2] Bachman L. Fundamental considerations in language testing [M]. Oxford: Oxford University Press; Shanghai: Shanghai For⁃ eign Education Press, 1990.

[3] Bachman L F, Palmer A S. Language testing in practice[M]. Oxford: Oxford University Press; Shanghai: Shanghai Foreign Education Press, 1996: 87

[4] Baker F. Corpora and language assessment: trends and pros⁃ pects. Research notes 26, 2-4 [Z]. Cambridge: UCLES, 2006.

[5] Biber D, Conrad S, Reppen R. Corpus Linguistics: Investigat⁃ ing language structure and use[M]. Cambridge: Cambridge Uni⁃ versity Press, 1998.

[6] Coniam D. A preliminary inquiry into using corpus word fre⁃ quency data in the automatic generation of English language cloze tests[J]. CALICO Journal, 1997, 14(2): 15-33.

[7] Gavioli L. Exploring corpora for ESP learning[M]. Amsterdam, the Netherlands: John Benjamins, 2006.

[8] Weir C J. Language testing and validation: an evidence-based approach[M]. Beijing: Foreign Language Teaching and Re⁃ search Press, 2010.

[9] 邱磊. 基于语料库的英语词汇测试[J]. 科技信息: 学术研究, 2008(27): 330, 334.

[10] 杨惠中. 语料库语言学导论[M]. 上海: 上海外语教育出版社, 2002.

[11] 穆惠峰. 基于语料库的大学英语四级完型填空测试内容效度验证研究[J]. 外语电化教学, 2011(4): 66-70.

[12] 邹申, 杨任明. 语料库在试题设计和验证中的应用研究[J].外语电化教学, 2008(5): 10-15.

217