jiebapython为何要去除停用词_jieba分词的Python与R语言基础用法介绍

版权声明：转载请注明出处！https://blog.csdn.net/ddxygq/article/details/86549608

人们说话不是一个词一个词崩出来的，文章也就由句子组成。要想让机器识别美文，体会中华名族汉语的博大精深，不是不可能。但是，首先需要将其转化成其可以识别的模式——词语。分词是自然语言处理(NLP)中最底层、最基本的模块，分词精度的好坏将直接影响文本分析的结果。

这里介绍著名的分词方法：结巴分词以及基本分词方法在Python和R语言中的用法。

Python中的结巴分词

Python中文分词的三种常用模式

精确模式：

全模式

搜索引擎模式

三种模式默认都采用隐马尔科夫模型分词；同时，结巴分词支持繁体分词和自定义字典方法。

导入模块：import jieba

(1)、精确模式：

[code]>>> test = '十堰有道家发源地武当山'

>>> cut1 = jieba.cut(test)

>>> type(cut1)

>>> print('精确分词结果：',' '.join(cut1))

Cut1不能直接查看，‘ ‘.join(cut1)函数指用空格分开cut1里面的元素，然后通过print()函数才能查看。

精确分词结果： 十堰 有 道家 发源地 武当山

(2)、全模式：

[code]>>> cut2 = jieba.cut(test,cut_a