“NLP自然语言处理-机器学习和自然语言处理介绍-NLP的基础-分词”
1. 为什么要做分词
(1)分词是一个被长期研究的任务,通过了解分词算法的发展,可以看到NLP的研究历程;
(2)分词是NLP中一类问题的代表;
(3)分词很常用,很多NLP任务建立在分词之上。
2. 中文分词的难点
中华文化博大精深,同一个词语在不同的场景下都有着不同的含义,例如卧槽在某些场景中是代表惊讶之情,而有些场景中则代表了愤怒之情;另外随着网络的发展,催生出了各式各样的网络语言,例如然并卵、绝绝子等等。这些有歧义的词和新词、改造词等对分词任务来说是个很大的挑战。如:
—“南京市长江大桥”那个句子要怎么做分词?是切割成南京市长+江大桥还是南京市+长江大桥呢?
3. 中文分词的方法
分词步骤:
① 收集一个词表;
② 对于一个待分词的字符串,从前向后寻找最长的,在此表中出现的词,在词边界做切分;
③ 从切分处重复步骤2,直到字符串末尾。
如下:
4. 中文分词实现方式
(1)正向最大匹配
实现方式一:
① 找出词表中最大词长度;
② 从字符串开头开始选取最大词长度
NLP自然语言处理-机器学习和自然语言处理介绍(二)
于 2022-07-22 17:23:42 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)