基于有效子串标注的中文分词
作者:赵海,接春雨
单位:香港城市大学-
出处:中文信息学报,2007年,21卷,5期,8-13页
本文主要是确定什么做子串;特征6Tag:B,B2,B3,M,E,S;仅CRF结果
评价数据:Sighan bakeoff 2005;CityU,MSRA,最好结果0.952,0.974。
步骤:
1 从训练语料中得到词典,高于某个频率的进入子串词典;
2 子串词典对训练语料FMM
3 子串的切分不可产生分词歧义(与2006年Ruiqiang Zhang的文章Subword-based的优势就是这个)
4 子串必须是最小子串