Python scrapy 爬虫入门（二）scrapy 框架基础

1 scrapy 安装

1.1 scrapy 安装

进入 cmd 界面，使用命令：

pip install scrapy

1.2 安装问题

如果因为权限原因导致安装失败，就以管理员身份运行 cmd，再使用上面的命令。
如果出现 Microsoft Visual C++14.0 is required 错误，则在安装 Anaconda 之后执行命令：

conda install -c scrapinghub scrapy

1.3 验证安装

验证 scrapy 是否安装成功，进入 cmd 界面，

python

进入 python 解释器界面，输入：

import scrapy

如果执行上面代码没有出错，证明 scrapy 安装成功。

2 构建第一个爬虫示例

2.1 创建爬虫项目

第一个爬虫示例，爬取“起点中文网” 24小时热销榜的小说名称、作者、类型和形式。进入到要创建项目的目录下：

cd dir
## projectname为项目名称,可以自己修改
scrapy startproject projectname

创建项目成功后，用 pycharm 打开创建的项目。

2.2 创建爬