在我们的日常工作与学习当中,最常用的两种语言就是汉语和英语了。在做文本分析的时候,第一步都是分词。在英语文章中,每个词都是天然的用空格分开的,所以我们就不讨论英语的分词了。在汉语分词中,我们最常用的就是jieba分词分词库了。jieba是一款开源的分词工具包,广泛应用于文本分析,词云绘制,关键词提取,自然语言处理等领域。
1.安装
pip install jieba
2.Jieba常用函数
- 精确模式:精确的切分句子中的每个词语,没有冗余词。
- 全模式:把所有可能的词语全部切分开,切分得到的词语是有冗余的。
- 搜索引擎模式:在全模式的基础上,对长的词语再次切分,得到适合搜索引擎的最简单明了的词语。
#导入jieba分词工具包
import jieba
#随便创建一句话
words = '哈工大材料科学与工程学院焊接技术与工程专业的学生'
#精确模式切分
jieba.lcut(