请求库
requests
pip install requests
selenium 模拟浏览器操作
pip install selenium
ChromeDriver 谷歌浏览器驱动
下载chrome浏览器对应的chromedriver.exe版本文件
将chromedriver.exe文件放到Python的Scripts目录下 / 将其路径配置到环境变量
GeckoDriver 火狐浏览器驱动
下载geckodriver.exe文件
将geckodriver.exe文件放到Python的Scripts目录下 / 将其路径配置到环境变量
PhantomJS 无界面的WebKit浏览器引擎
下载PhantomJS压缩包文件
解压后将bin文件夹中的phantomjs.exe文件放到Python的Scripts目录下 / 将其所在的bin目录路径配置到环境变量
aiohttp Web请求库
pip install aiohttp
官方推荐安装如下两个库:
cchardet 字符编码检测库
aiodns 加速DNS解析库
pip install cchardet aiodns
解析库
lxml 支持HTML和XML解析的解析库
pip install lxml
Beautiful Soup 支持HTML和XML解析的解析库
pip install beautifulsoup4
pyquery 支持HTML解析的解析库
pip install pyquery
tesserocr OCR识别库,用于识别图片验证码
下载安装tesseract软件
安装tesserocr
pip install tesserocr pillow
数据库
MySQL 轻量级关系型数据库
下载安装MySQL软件
在“计算机-管理-服务”中开启或关闭MySQL服务
MongoDB 非关系型数据库
下载安装MongoDB软件
新建data文件夹……(太长暂时略过)
Redis 基于内存的非关系型数据库
下载安装Redis
(可选)下载安装Redis Desktop Manager可视化管理工具
Python数据库存储库
PyMySQL Python与MySQL交互库
pip install pymysql
PyMongo Python与MongoDB交互库
pip install pymango
redis-py Python与Redis交互库
pip install redis
ReidsDump Redis数据导入/导出工具
安装Ruby
安装ReidsDump
gem install redis-dump