文本分析-预处理：Python文本分析工具NLTK

最新推荐文章于 2024-06-28 18:53:42 发布

xuehaozhe0526

最新推荐文章于 2024-06-28 18:53:42 发布

阅读量2.6k

点赞数

分类专栏：文本分析数据分析

本文链接：https://blog.csdn.net/u013915133/article/details/77648810

版权

本文介绍了Python的自然语言处理库NLTK在文本分析预处理中的使用，包括语料库、分词、词形归一化、词性标注和去除停用词等步骤，强调了NLTK的开源性质、丰富的功能和社区支持。

摘要由CSDN通过智能技术生成

文本分析-预处理：Python文本分析工具NLTK

NLP领域中最常用的一个Python库
开源项目
自带分类、分词等功能
强大的社区支持

pip install nltk

#语料库安装 
import nltk 
nltk.download()

典型文本预处理流程

语料库

nltk.corpus

import nltk
from nltk.corpus import brown # 需要下载brown语料库
# 引用布朗大学的语料库

# 查看语料库包含的类别
print(brown.categories())

# 查看brown语料库
print('共有{}个句子'.format(len(brown.sents())))
print('共有{}个单词'.format(len(brown.words())))

分词tokenize

句子拆分成具有语言语义学上意义的词

英文分词：单词之间是以空格作为自然分界符的

中文分词工具：结巴分词

sentence = "Python is a widely used high-level programming language for general-purpose programming."
tokens = nltk.word_tokenize(sentence) # 需要下载punkt分词模型
print(tokens)

"""
['Python', 'is', 'a', 'widely', 'used', 'high-level', 'programming', 'language', 'for', 'general-purpose', &