NLTK 基本语料库函数

最新推荐文章于 2021-03-31 00:49:55 发布
最新推荐文章于 2021-03-31 00:49:55 发布
阅读量1.2k 收藏 4
点赞数
文章标签： python 自然语言处理 nltk nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bearsfreedom/article/details/106547872
版权

函数 描述
fileids() 语料库中的文件
fileids([categories]) 这些分类对应的语料库中的文件
categories() 语料库中的分类
categories([fileids]) 这些文件对应的语料库中的分类
raw() 语料库的原始内容
raw(fileids=[f1,f2,f3]) 指定文件的原始内容
raw(categories=[c1,c2]) 指定分类的原始内容
words() 整个语料库中的词汇
words(fileids=[f1,f2,f3]) 指定文件中的词汇
words(categories=[c1,c2]) 指定分类中的词汇
sents() 指定分类中的句子
sents(fileids=[f1,f2,f3]) 指定文件中的句子
sents(categories=[c1,c2]) 指定分类中的句子
abspath(fileid) 指定文件在磁盘上的位置
encoding(fileid) 文件的编码（如果知道的话）
open(fileid) 打开指定语料库文件的文件流
root() 到本地安装的语料库根目录的路径

念念bw
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python自然语言处理第二章 - 获得文本语料与词汇
渐渐遗忘的记忆
03-09 1173
一，获取文本语料库 1，古腾堡语料库 古腾堡语料库主要存储的是免费的电子图书。 import nltk from nltk.corpus import * fileids = gutenberg.fileids(); text1 = gutenberg.words(fileids[0]); len(text1) # 如果要使用第一章中的concordance()等函数需要将text...
nltk 中的 sents 和 words
TensorFlowNews
08-01 2696
nltk 中的 sents 和 words ，为后续处理做准备。 #!/usr/bin/env python # -*- coding: utf-8 -*- from nltk.corpus import gutenberg sents = gutenberg.sents("burgess-busterbrown.txt") print(sents[1:20]) words =
NLTK中常见定义的函数
Teng49的博客
08-03 1188
一、NLTK频率分布类中定义的函数 例子                    描述 fdist = FreqDist（sample）                 创建包含给定样本的频率分布 fdist.inc(sample)                                  增加样本 fdist['monstrous']
python nltk常用函数
xy773545778的博客
02-09 458
截图来自《python自然语言处理》
python nlp_【NLP】Python NLTK获取文本语料和词汇资源
weixin_39991148的博客
11-26 490
作者：白宁超2016年11月7日13:15:24摘要：NLTK是由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项...
nltk.corpus.conll2002.fileids() LookupError
aijava1的博客
03-31 525
1.nltk_data 数据集的结构 简单记录下使用的nltk_data/corpora的数据，不是packages里面的数据，其中nltk.download()下载的数据就在nltk_data/corpora (python36) zutnlp@Dell-R730:~/nltk_data$ tree -L 5 . ├── collections │ ├── all-corpora.xml │ ├── all-nltk.xml │ ├── all.xml │ ├── book.xml │
nltk下载语料库
Silly2521的博客
03-04 3723
1、首先我们使用命令pip list查看是否安装了nltk模块，如果没有，则执行命令pip3 install nltk进行安装。 2、之后，我们在Jupyter Notebook中进行语料库的安装: import nltk nltk.download() 3、弹出页面： 4、验证是否下载成功： ...
nltk-data语料库和模型资源
11-05
本资源包“nltk-data”包含了NLTK库所需的语料库和模型，这些资源对于在Python环境中进行NLP工作至关重要。 1. **语料库**：语料库是大量文本数据的集合，用于训练和测试NLP算法。NLTK提供了一些经典的语料库，如...
Pyhon 自然语言处理（一）NLTK及语料库下载
mubai
01-11 9277
Python 自然语言处理（一）NLTK及语料库下载 NLTK是用来进行自然语言处理很强大的包，本文介绍Python下安装NLTK及语料下载
自然语言处理语料库下载，nltk下载，punk下载-NLTK所有预料库
最新发布
05-02
`nltk.download()`是NLTK库中的一个函数，用于下载或更新其依赖的语料库。通过运行这个函数，用户可以获取执行NLP任务所需的数据。例如，如果你需要进行词性标注，可以下载`averaged_perceptron_tagger`；如果要进行...
影评分析初级 nltk 电影语料库
zn505119020的专栏
09-06 1527
from nltk.corpus import movie_reviews import random import nltk #定义特征提取器 def document_features(document , word_features): document_words = set(document) features = {} for word in word_fe
自然语言处理学习（二）使用nltk获取语料
adurey的博客
02-26 2775
一、语料库 导入brown和gutenberg语料库。 import nltk from nltk.corpus import brown as cb from nltk.corpus import gutenberg as cg 二、查看语料库中的目录 dir(cb) #目录 dir(cg) 输出： 三、语料库包含的种类 cb.categories() #种类 四、语料库文件块名字 c...
自然语言处理NLP | NTLK入门及英文语料库处理
liuyh73的博客
05-09 4207
NLTK(Natural Language Toolkit) ，是一个自然语言处理工具包，可以方便的完成包括分词、词性标注、命名实体识别及句法分析在内的多种任务。 安装 $ pip install nltk $ python >>> import nltk >>> nltk.download() 测试是否安装成功： >>> from nlt...
mysql 中的field() 排序函数
java知识整理
01-26 5653
field() 函数： 是将查询的结果集按照指定顺序排序。 格式： FIELD(str,str1,str2,str3,...) 什么时候用： 想让某几个特定的字段值放在最后，用field()函数。 解释： str是字段名字，字符串str1,str2,str3等等，是该字段的值。 函数意思： 匹配到str1，将其放到结果集最后返回。 详细解析： 当字段值没有匹配到str1，str2或者str3的时候，按照正常排序；当匹配到这些的时候，会把没有匹配的值放到最前面，匹配到的放到后边，并且以写的顺序排序返回结果集。
nltk使用方法总结
weixin_43758551的博客
08-28 1629
https://www.52nlp.cn/tag/nltk%E4%BB%8B%E7%BB%8D https://www.52nlp.cn/author/baiboy https://www.cnblogs.com/baiboy/p/nltk1.html https://www.cnblogs.com/chen8023miss/p/11458571.html https://zhuanlan.zhihu.com/p/98808960 https://blog.csdn.net/sunflower_sara/a
Python中常见文件操作,纯干货
a1309525802的博客
09-04 6626
Python文件操作一、关于文件二、读写文件简单操作三、文件权限四、文件高级操作五、大文件的读取基本方法常用函数 一、关于文件 文件的作用：把一些数据储存起来 使用文件流程： 打开文件，读写文件，关闭文件 二、读写文件简单操作 1.读取文件 #打开文件 file = open("demo1/1.txt",mode="r") #读取文件 ret = file.read() #file只是变量，read是读取函数 print(ret) #关闭文件 file.close() #第一个参数的文件的路
常用工具包-nltk初步学习
alihonglong的专栏
09-26 7550
目录 一、软件安装... 1 二、相关实践理解... 1 2.1分词、词性标注... 2 2.2句法、语义分析... 2 2.3加载语料库... 2 2.4概率统计... 3 2.4.1 FreqDist. 3 2.5聚类器... 4 2.5.1kmeans聚类... 4 2.5.2gaac聚类... 4 2.5.3混合高斯聚类... 5 2.6分类器
《python自然语言处理》第二章 获得文本预料和词汇资源
小可爱的博客
01-30 536
from nltk.corpus import gutenberg gutenberg.fileids()#加载古滕堡语料库 for fileid in gutenberg.fileids(): num_chars = len(gutenberg.raw(fileid))#字母个数 num_words = len(gutenberg.words(fileid))#词个数 n
20180616学习记录（语料库函数，Name Error解决方法，for循环，print方法）
xMaximusx的博客
06-17 354
1，nltk中定义的基本语料库函数示例描述fileids()语料库中的文件fileids([categories])分类对应的语料库中的文件categories()语料库中的分类categories([fileids])文件对应的语料库中的分类raw()语料库的原始内容raw([fileids=[f1, f2, f3])指定文件的原始内容raw(categories=[c1, c2])指定分类的原...
如何用nltk做语料清洗
03-04
可以使用nltk中的各种函数和工具来进行语料清洗，例如使用正则表达式去除标点符号、数字和停用词，使用词干提取器将单词转换为其基本形式，使用词性标注器标注每个单词的词性等等。具体的步骤和方法可以根据具体的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值