本文详细介绍了条件随机场（CRF）在中文分词中的优势和原理，对比了CRF与词典统计分词、HMM、MEMM的区别。CRF通过考虑上下文特征，对歧义词和未登录词识别效果较好，但训练周期长，计算量大。文中还阐述了CRF分词的基本步骤和分词工具包的使用，推荐了crf++作为实现工具，并提供了训练和测试的步骤。
CRF简介
Conditional Random Field：条件随机场，一种机器学习技术（模型）
CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：
- 分词（标注字的词位信息，由字构词）
- 词性标注（标注分词的词性，例如：名词，动词，助词）
- 命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名词）
本文主要描述如何使用CRF技术来进行中文分词。
CRF VS 词典统计分词
- 基于词典的分词过度依赖词典和规则库，因此对于歧义词和未登录词的识别能力较低；其优点是速度快，效率高
- CRF代表了新一代的机器学习技术分词，其基本思路是对汉字进行标注即由字构词(组词)，不仅
最低0.47元/天 解锁文章
3757
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
