手动下载并安装nltk_data

1. 引入

使用nltk的tokenizer、模型、语料之前，都要先运行如下代码进行下载：

import nltk
nltk.download()

但网络原因，笔者从未成功下载过。

发现一种离线安装方式（参考1，2），折腾配置成功了，步骤如下。

2. 具体步骤

1. 下载nltk_data

• 下载链接： https://github.com/nltk/nltk_data/tree/gh-pages

注意下载branch为gh-pages，下载后得到：nltk_data-gh-pages.zip

2. 上传到服务器/root目录

将nltk_data-gh-pages.zip上传到ubuntu的/root/目录。

3. 解压后，copy其中package下所有文件

（1）创建/root/nltk_data/

（2）解压 nltk_data-gh-pages.zip

（3）cp -rf nltk_data-gh-pages/packages/* /root/nltk_data/

4. 验证是否成功与报错解决方式

运行如下代码

from nltk import *
text = word_tokenize("They refuse to permit us to obtain the refuse permit")

报错

  Resource punkt not found.
  Please use the NLTK Downloader to obtain the resource:

  >>> import nltk
  >>> nltk.download('punkt')

报错的解决方法
(1) 找到punkt所在目录

cd /root/nltk_data/
find . -name "punkt*"

(2) 切换到punkt所在目录，并解压

cd /root/nltk_data/tokenizers
unzip punkt.zip

再运行如上代码，不报错，则说明配置成功了

报错原因：报错说缺少punkt分词器，因为上面下载的punkt还是zip的，没有解压。必须要手动解压后才能被nltk识别使用。

3. 总结

步骤简单，但653M的ZIP下载上传耗带宽，还有些小坑，搞定一次有些浪费时间，记录一下。

4. 参考

1. https://blog.csdn.net/zhangcucmb/article/details/80824231
2. https://blog.csdn.net/qq_43140627/article/details/103895811