《Python3网络爬虫开发实战》爬虫有关库的安装

请求库

requests

pip install requests

selenium 模拟浏览器操作

pip install selenium

ChromeDriver 谷歌浏览器驱动

下载chrome浏览器对应的chromedriver.exe版本文件

将chromedriver.exe文件放到Python的Scripts目录下 / 将其路径配置到环境变量

GeckoDriver 火狐浏览器驱动

下载geckodriver.exe文件

将geckodriver.exe文件放到Python的Scripts目录下 / 将其路径配置到环境变量

PhantomJS 无界面的WebKit浏览器引擎

下载PhantomJS压缩包文件

解压后将bin文件夹中的phantomjs.exe文件放到Python的Scripts目录下 / 将其所在的bin目录路径配置到环境变量

aiohttp Web请求库

pip install aiohttp

官方推荐安装如下两个库：

cchardet 字符编码检测库

aiodns 加速DNS解析库

pip install cchardet aiodns

 

解析库

lxml 支持HTML和XML解析的解析库

pip install lxml

Beautiful Soup 支持HTML和XML解析的解析库

pip install beautifulsoup4

pyquery 支持HTML解析的解析库

pip install pyquery

tesserocr OCR识别库，用于识别图片验证码

下载安装tesseract软件

安装tesserocr

pip install tesserocr pillow

 

数据库

MySQL 轻量级关系型数据库

下载安装MySQL软件

在“计算机-管理-服务”中开启或关闭MySQL服务

MongoDB 非关系型数据库

下载安装MongoDB软件

新建data文件夹……（太长暂时略过）

Redis 基于内存的非关系型数据库

下载安装Redis

（可选）下载安装Redis Desktop Manager可视化管理工具

 

Python数据库存储库

PyMySQL Python与MySQL交互库

pip install pymysql

PyMongo Python与MongoDB交互库

pip install pymango

redis-py Python与Redis交互库

pip install redis

ReidsDump Redis数据导入/导出工具

安装Ruby

安装ReidsDump

gem install redis-dump