一对好兄弟：NLTK与jieba浅析

小圈长话短说，让我们开始吧！

首先来看，jieba和NLTK都是python中的库，只不过有不同的用途而已。可能大家都听说过 ：中文分词用jieba ，英文分词用NLTK。那么，我们就从这里展开。

NLTK

主要用于英文的文本处理：

1）可用来分词

tokens= nltk.word_tokenize("hello,world")
print(tokens);

输出结果如下：

[‘hellow’, ‘,’ , ‘world’]

2）可进行归一化
通过Stemming 实现词干提取：即去掉单词的小尾巴
比如：去ed,s,es,ing
通过Lemmatization实现词形归一：各类词变形为一个形式
比如：went>>go; are>>be; is>>be
3）可以进行停用词过滤
通过filter进行停用词过滤

典型案例：

情感分析，文本分类，文本相似度处理等

英文文本一般的处理流程：