自然语言处理库nltk、spacy安装及配置方法

nltk库和spacy库都是英文自然语言处理常用库，但是配置起来比较麻烦，今天就分享配置方法。

nltk配置

安装nltk库，命令行输入以下命令

pip3 install nltk

有些时候的nltk代码需要语料库才能运行，nltk语料库很庞大,这时候运行下面的python代码，就会下载语料库

import nltk	
nltk.download()

不过经常因为网络问题导致语料库无法下载下来，这时候需要我们手动下载并配置语料库

大邓已经将语料库资源放到百度网盘，链接: https://pan.baidu.com/s/1RMRfNAs2P8AxA6NISJKVjw 提取码: xbkj

下载并解压，得到nltkdata文件夹，现在我们要知道nltkdata文件夹应该放置的位置（路径）， 运行下面代码即可得到nltk_data在本机中放置的位置

import nltk	
nltk.data.find(".")

Run

FileSystemPathPointer('/Users/thunderhit/nltk_data')

我们将nltkdata文件夹放到对应的路径（/Users/thunderhit/nltkdata），nltk配置完成~

spacy配置

安装spacy库，命令行输入以下命令

pip3 install spacy

通nltk类似，spacy很多的代码运行时候需要用到训练好的模型，模型列表https://spacy.io/models

• English

• German

• French

• Spanish

• Portuguese

• Italian

• Dutch

• Greek

• Multi-language

可惜spacy目前还是中文没有模型，我们以英文为例。

spacy有4种英文模型 https://spacy.io/models/en ，本文使用encoreweb_sm模型作为案例进行安装

打开 https://github.com/explosion/spacy-models/releases//tag/encorewebsm-2.1.0 网页点击 encorewebsm-2.1.0.tar.gz 文件链接进行下载。

下载完成后将其移动至桌面，方面安装。

打开命令行,切换至桌面

cd desktop

命令行中安装模型

pip3 install en_core_web_sm-2.1.0.tar.gz

注意spacy使用时候需要声明使用的模型

import spacy	
nlp = spacy.load('en_core_web_sm')

之后就可以愉快的使用nltk和spacy

推荐阅读

【视频课】数据分析快速入门

2019年7月13-18日（杭州）Stata & Python 实证计量与爬虫分析暑期工作坊

如何用nbmerge合并多个notebook文件？

datatable:比pandas更快的GB量级的库

国人开发的数据可视化神库 pyecharts

pandas_profiling：生成动态交互的数据探索报告

cufflinks: 让pandas拥有plotly的炫酷的动态可视化能力

使用Pandas、Jinja和WeasyPrint制作pdf报告

使用Pandas更好的做数据科学

使用Pandas更好的做数据科学（二）

少有人知的python数据科学库

folium:地图数据可视化库

学习编程遇到问题，该如何正确的提问?

如何用Google Colab高效的学习Python

大神kennethreitz写出requests-html号称为人设计的解析库

flashtext:大规模文本数据清洗利器