SIGHAN评测回顾-1-(2003-2005)

        这2篇blog是对SIGHAN2003-2010中文分词任务中使用的方法的简要概述，不详细不精确，个别数据可能有一定的错误。写此blog目的是为方便以后查看。各个方法的具体细节应该参看原始论文。

        国际中文自动分词评测（简称SIGHAN[1]评测）采用多个由不同机构提供的数据集合进行评测[2]。每个机构提供的数据集都包含训练语料、测试语料和标准答案，参评者可以自由选择一种或者多种参加评测。在此之前中文分词的评测为国家863和973的内部评测^[1][2]。

2003年5月第一届Bakeoff在日本札幌举行^[3]；2005年第二届Bakeoff在韩国济州岛举行^[4]，评测充分展示了中分分词研究领域中的一些重要发展和新动向；2006年第三届Bakeoff在澳大利亚悉尼举行^[5]，在前两届的基础上加入的中文命名实体评测；2007年第四届Bakeoff在印度举行^[6]，该届评测增加中文词性标注评测；2010年CIPS-SIGHAN联合会议^[7]在北京举行[3]，与往届不同，评测语料为专业领域语料（来自Literature、Computer、Medicine、Finance四个领域），评测任务为中文分词、中文句法分析、中文人名消歧、中文词义归纳；2012年第二届CIPS-SIGHAN联合会议^[8]在天津举行[4]，中文分词任务锁定在“微博领域的汉语词语”。

下面介绍SIGHAN的历年评测结果。

表1-1至表1-5，分别显示2003年至2010年，Bakeoff各个语料在封闭测试（Close）和开放测试（Open）上得分最高的队伍、队伍联系人、F1值和测试语料中OOV的比率。

表1-1  2003年Bakeoff评测结果

Table 1-1 Result of Bakeoff 2003

任务		最高分队伍	最高分联系人	F1	OOV率
类型	语料
Close	AS	加州大学伯克利分校	AitaoCHEN	0.961	0.022
	CTB	中科院	HuapingZHANG	0.881	0.181