技术03期：自然语言处理NLP【分词篇】

NLP简介和三种分词模型

 

 

 

NLP逐渐成为人工智能一大热点研究方向，目前国外对英文分词的研究比较深入，而中文分词发展较缓。它需要联系上下文、作者背景、内容背景等进行调整。

 

处理这些高度模糊句子所采用消歧的方法，通常运用到语料库以及隐马尔可夫模型（Hidden Markov Model,HMM）、支持向量机（Support Vector Machine,SVM）和条件随机场（Conditional Random Field, CRF）三种为主，也常用于句法分析、命名实体识别、词性标注等，且后两者（SVM、CRF）明显优于隐马尔可夫模型。

 

 

其中隐马尔可夫模型（HMM）和条件随机场（CRF）的模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。当然不是必须学习HMM才能读懂CRF，但通常来说如果做自然语言处理，这两个模型大家都应该有所了解。

 

中文分词的概念

 

 

 

中文分词就是输入一个汉语句子，输出一串由“BEMS”组成的序列串，以“E”、“S”结尾进行切词，进而得到句子划分。其中B(begin)代表该字是词语的起始字，M(middle)代表词语中间字，E(end)结束字，S(single)单字成词。

 <