Adaptive Chinese Word Segmentation
作者:Jianfeng Gao,Andi Wu,Mu Li,Chang-Ning Huang,Hongqiao Li,Xinsong Xia,Haowei Qin
单位:Microsoft Research
作者:Jianfeng Gao,Andi Wu,Mu Li,Chang-Ning Huang,Hongqiao Li,Xinsong Xia,Haowei Qin
单位:Microsoft Research
出处:ACL '04 Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics.Article No. 462
主要内容:自适应,特定领域分词,标准(颗粒度);这篇文章很适合做参考文献
论文分三部分:
1使用线性模型可以并且可以适应不同领域的分词
2模型用到的特征和如何选取训练语料
3transformation-based学习方法去自适应不同的分词标准(颗粒度)问题
线性模型:把所有的特征值带权重加和,特征包括:Context Model(log),Lexical Word(LW)01,Morphological Word(MW)01,Named Entity(log),Factoid(FT)01,New Word(NW)(SVM值)有些特征值为0、1,其它都是算出来的。
权重拉姆达使用类似于CRF的迭代方式算出来的。
NW的SVM分类器用了三个特征,单字词,ab中有一个为单字词,ab中有一个为前缀or后缀
Context Model(上下文)用的是类似于IDF的数据,公式很复杂,而不是字形
自适应,颗粒度:使用树库,树库中的词有结构,例如前中后缀,时间年月日,人名姓名
问题在于:真的做到领域自适应了吗?仍然使用Sighan(2005)的测试训练语料,颗粒度可以自适应,但是如果我们换大领域,恐怕就有问题了。