《python自然语言处理》第二章获得文本预料和词汇资源

最新推荐文章于 2022-06-29 08:49:30 发布

内推锦鲤

最新推荐文章于 2022-06-29 08:49:30 发布

阅读量547

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/weixin_36926779/article/details/79206191

版权

本文介绍Python中处理文本数据的方法，包括使用raw()获取原始文件内容，利用sents()函数划分句子，并探讨条件频率分布在文本分类中的应用。

摘要由CSDN通过智能技术生成

from nltk.corpus import gutenberg
gutenberg.fileids()#加载古滕堡语料库
for fileid in gutenberg.fileids():
    num_chars = len(gutenberg.raw(fileid))#字母个数
    num_words = len(gutenberg.words(fileid))#词个数
    num_sents = len(gutenberg.sents(fileid))#句子个数
    num_vocab = len(set([w.lower() for w in gutenberg.words(fileid)]))#不同单词个数
    print(int(num_chars/num_words),int(num_words/num_sents),int(num_words/num_vocab),fileid)
    #平均词长、平均句子长度、本文中每个词出现的平均次数

1、raw()函数返回没有进行处理的文件内容；sents()函数将文本划分成句子，每一个句子是一个词链表（一篇文章就由链表的链表组成）