第1关:Scarpy安装与项目创建
任务描述
本关任务:借助Scrapy框架编写一个最基本的爬虫小程序,掌握Scrapy的基础理论和使用。
相关知识
Scrapy安装与新建项目
Windows下安装
由于 Python 官方已经宣布在 2020 年停止对 Python2 的支持,因此本教程的相关 Python 操作均是在 Python3 下进行的,请确保所使用的电脑上已安装 Python3。
在 Windows 环境下,如果安装好了 Python3 ,可以借助 pip 进行 Scrapy 进行安装:
pip install scrapy
由于 Scrapy 依赖 Wheel、Twisted、Pillow 等第三方包,所以安装过程中很可能会由于依赖缺失而导致安装失败,这时可以根据提示依次进行各依赖的安装并最终完成 Scrapy 的安装。
Linux/Unix下安装
同样的请先确保安装了 Python3,之后需要在命令行下执行:
pip3 install scrapy
如果出现类似于ModuleNotFoundError: No module named ‘twisted.persisted’ 等由于依赖缺失导致的报错,请先使用pip install命令完成相应依赖的安装,之后即可完成 Scrapy 的安装。