NLTK基本操作详解——NLP

NLTK基本操作

本文主要包含以下内容：

1. 从nltk.book上下载数据集
2. 文本搜素
3. 文本统计
4. 制作词云
5. 词频统计
6. NLP常用函数

从nltk.book上下载数据集

import nltk
nltk.download()
from nltk.book import *

文本搜素

# 查看单词good所在语境
text1.concordance('good')
# 与good用法相似的词汇
text1.similar('good')
# 单词good和great通用的上下文情景
text1.common_contexts(['good','great'])
# 绘制特定词汇在文本中的分布图
# 小说<理智与情感>中女主人公出场情况
text2.dispersion_plot(['Elinor','Marianne','Edward','Willoughby'])

文本统计

''' 词和标点总数、不重复的、词汇丰富度、happy出现次数'''
len(text1)
len(set(text1))
len(text1)/len(set(text1))
text1.count('happy')