笔记-2003-Chinese Word Segmentation as LMR Tagging

Chinese Word Segmentation as LMR Tagging
作者：Nianwen Xue,LibinShen
单位：Inst. for Research in Cognitive Science；UniversityofPennsylvania
出处：Proceedings of the Second SIGHAN Workshop on Chinese Language Processing, July 2003, pp. 176-179.

主要内容：确定了标注体系LMR；MEMM方法；迭代次数与效果分析

这个算法基于MEMM模型。
因为，MEMM有标注偏置问题，所以采用了左到右，右到左两向分词。
并使用Transformation—Based Learning去合并结果。
实事证明，两向分词并没有显著好于单向分词。目前结果 Academia Sinica是95.9%，Hong Kong City是 91.6%
对于不同的训练语料，迭代次数不同，过度拟合反而会使效果下降。