中文分词评测方法

中文分词评测方法

对于分词，目前有很多开源的程序，包括hanlp、jieba、哈工大分词等。为了确定哪种分词结果比较好，通常有两种方式，一种是调用接口，对特定的句子分词，通过感觉对分词结果进行对比，但这种分词结果却带有了很大的主观色彩。在网上也是博客在介绍。另一种则通过测试集对分词结果与标准的分词进行分析，得出准确率、召回率等。

步骤

1. 开放的测试集选取
   一般测试集产生的来源主要源于竞赛，但是，我在搜索过程中，只找到了一个，Second International Chinese Word Segmentation Bakeoff ，虽然竞赛是2005年公开的，但是却没找到别的，大家如果有其他更好的，麻烦留言交流。
   接下来我们就以这个测试集对分词结果进行分析。

2. 下载数据集
   icwb2-data.zip [50 MB, md5]，大家尽量跳转到官网进行下载。

3. 目录结构

   doc  nshort_seg.out  testing  training  gold  README   scripts
   

   其中：