Scrapy爬虫基础

第1关：Scarpy安装与项目创建

任务描述
本关任务：借助Scrapy框架编写一个最基本的爬虫小程序，掌握Scrapy的基础理论和使用。

相关知识
Scrapy安装与新建项目
Windows下安装
由于 Python 官方已经宣布在 2020 年停止对 Python2 的支持，因此本教程的相关 Python 操作均是在 Python3 下进行的，请确保所使用的电脑上已安装 Python3。
在 Windows 环境下，如果安装好了 Python3 ，可以借助 pip 进行 Scrapy 进行安装：

pip install scrapy
由于 Scrapy 依赖 Wheel、Twisted、Pillow 等第三方包，所以安装过程中很可能会由于依赖缺失而导致安装失败，这时可以根据提示依次进行各依赖的安装并最终完成 Scrapy 的安装。

Linux/Unix下安装
同样的请先确保安装了 Python3，之后需要在命令行下执行：

pip3 install scrapy
如果出现类似于ModuleNotFoundError: No module named ‘twisted.persisted’ 等由于依赖缺失导致的报错，请先使用pip install命令完成相应依赖的安装，之后即可完成 Scrapy 的安装。