常见的三种分词工具
这节课主要讲了三种常见的分词工具:
- jieba分词
- ltp分词
- ir分词
一、 分词的概念:
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
二、 中文分词工具
- jieba分词:比较常用,用法比较简单,主要有三种分词模式
- python安装jieba:pip install jieba/在settings里直接搜索jieba安装即可
- jieba的使用:import jieba
- jieba分词三种模式:
a) 全模式:把句子中所有的可以成词的词语都扫描出来
代码实现:sentence_=” 一切都像刚睡醒的样子,欣欣然张开了眼。山朗润起来了,水涨起来了,太阳的脸红起来了。”
cut_all = jieba.cut(sentence_,cut_all=True)
b) 精确模式:试图将句子最精确地切开(jieba默认模式)
代码实现:cut_all = jieba.cut(sentence_)
c) 搜索模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
代码实现:cut_search = jieba.cut_for_search(sentence_)
测试结果: