Python3下的NLTK及nltk_data安装问题(Ubuntu环境)

原发于:https://www.fams.tech/p/python3-nltk-install-and-nktk-data-download

测试环境:Ubuntu Kylin 14.04

Python版本:3.4.3

 

在使用Python强大的第三方库nltk进行一些自然语言处理工作的时候遇到了一些困难,折腾一番总算解决。现在在这里记录一下,当作备忘。

 

网上找到挺多安装nltk的教程,但经测试,好像都是适用于Python2的,对于Python3,就勉为其难了。这里的主要问题是,前辈们分享的nltk_data包是不兼容Python3的。

 

所以我的解决方案是:

到https://github.com/nltk/nltk_data下载gh-pages分支,里面的Packages就是我们要的资源。(注:截至2016年3月24日时本方案仍有效)

 

详细情况记录如下:

1.安装nltk。截至今天,安装的是nltk3.2,在有pip这些工具的情况下,安装这些库变得非常简单:

pip install nltk

另外官方的安装说明还附带了numpy,一个“赛Matlab的Python开源的数值计算扩展库”,说不定以后用得上:

pip install numpy

  • 11
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
nltk_dataPython中一款常用的自然语言处理工具包NLTK(Natural Language Toolkit)中的一个重要组成部分。它包含了多种语料库、词典和训练数据,用于支持多种自然语言处理任务,如分词、词性标注、句法分析等。 下载nltk_data可以通过以下步骤进行: 1. 安装NLTK:在Python环境中,可以通过pip install nltk命令进行安装。确保已经安装了合适版本的Python和pip工具。 2. 导入nltk模块:在Python代码文件中,通过import nltk导入nltk模块。 3. 先下载nltk_data的索引文件:通过nltk.download('all')命令下载nltk_data的索引文件。也可以选择只下载需要的部分,比如nltk.download('book')只下载书籍中所需的数据。 4. 下载需要的数据:通过nltk.download('data_name')命令下载具体的数据。其中data_name可以是具体的文件名,也可以是语料库或词典的名称。 需要注意的是,下载nltk_data可能需要一定的时间和网络连接。下载过程中可以看到下载的进度以及下载完成的数据大小。下载后,nltk_data将默认保存在本地的NLTK数据目录中。 下载完成后,就可以在NLTK中使用数据了。可以使用nltk.corpus模块来访问语料库数据,使用nltk.data模块来访问其他数据。比如可以使用nltk.corpus.brown.words()来获取Brown语料库的词汇,使用nltk.data.path来获取nltk_data保存在本地的路径。 总之,下载并使用nltk_data是进行自然语言处理任务中必备的一步。通过下载nltk_data,我们可以获得丰富的语料库、词典和训练数据,从而更好地进行文本处理和分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值