python爬虫需要装很多基础库,我们用这些库里的相关模块实现我们的爬虫需求。本节我们事先将爬虫需要用到的python库先安装好,确保后面我们的爬虫案例能正常开展。
目前先安装下面软件包,后续如若不满足需求再装其他包。所有库都是未安装前不能导入,成功安装后,导入成功。后续章节再具体讲解每个库的使用方法。
1请求库安装
1.1requests库安装
图1.1.1 未安装前状态
图1.1.2安装成功
图1.1.3安装后导入成功
1.2selenium库安装
1.2.1未安装前状态
1.2.2安装成功
1.2.3安装后导入成功
1.3aiohttp库安装
1.3.1未安装前状态
1.3.2安装成功
1.3.3安装后导入成功
2解析库安装
2.1 lxml库安装
2.1.1未安装前状态
2.1.2安装成功
2.1.3安装后导入成功
2.2Beautiful soup4库安装
2.2.1未安装前状态
2.2.2安装成功
2.2.3安装后导入成功
2.3pyquery库安装
2.3.1未安装前状态
2.3.2安装成功
2.3.3安装后导入成功
3存储库安装
3.1pymysql
3.1.1未安装前状态
3.1.2安装成功
3.1.3安装后导入成功
3.2redis
3.2.1未安装前状态
3.2.2安装成功
3.2.3安装后导入成功
4web库安装
4.1flask安装
4.1.1未安装前状态
4.1.2安装成功
4.1.3安装后导入成功
4.2tornado库安装
4.2.1未安装前状态
4.2.2安装成功
4.2.3安装后导入成功
5爬虫框架安装
5.1pyspider安装
5.1.1未安装前状态
5.1.2安装成功
5.1.3安装后导入成功