自然语言处理python进阶(一)

from nltk.corpus import reuters #加载路透语料库
files = reuters.fileids()
print(len(files)) # 10788
words16097 = reuters.words(['test/16097'])
print(words16097)

什么是语料

就是一个个txt,一个txt就是一个列表

categories种类

reutersGenres = reuters.categories()
print(reutersGenres)  # 90

加载语料特定的种类的句子

# 加载语料特定的种类
for w in reuters.words(categories=['bop','cocoa']):
    print(w +' ',end='')
    if(w is '.'): # 一个句子就换行
        print()

实际生活中要自己下载语料来搞

读取下载的语料

from nltk.corpus import CategorizedPlaintextCorpusReader

# 语料将分成不同的种类的txt,所以采用正则的方法来读取txt
reader = CategorizedPlaintextCorpusReader(r'/Volumes/Data/NLP-CookBook/Reviews/txt_sentoken', r'.*\.txt', cat_pattern=r'(\w+)/*')
print(reader.categories())  
  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2020 CSDN 皮肤主题: 猿与汪的秘密 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值