Scrapy入门实例_爬取美剧天堂的最新前100

使用工具：Python3.6版本

Python官网：https://www.python.org/

---

目录

Scrapy的安装

Scrapy爬取数据步骤

一、创建工程：

二、创建爬虫程序

三、编辑爬虫

四、设置item模板

五、设置配置文件

六、设置数据处理脚本

七、运行爬虫

---

Scrapy的安装

pip install Scrapy。在此之前需要先安装几个包：wheel、lxml以及twisted

cmd执行语句需要进入到对应的python根目录的Scripts文件夹下D:\hailong\Python3.6\Scripts

然后依次运行如下语句：

(1) pip install wheel

(2) pip install lxml

(3) pip install twisted

(4) 最后 pip install scrapy

安装好的wheel、lxml、twisted、scrapy包都在此路径下D:\hailong\Python3.6\Lib\site-packages

(5) 验证Scrapy框架是否安装成功：

打开python,输入import scrapy和scrapy.version_info可以查看scrapy的版本信息

---

Scrapy爬取数据步骤

一、创建工程：

创建一个文件夹，任意命名，然后打开cmd进入该目录。

输入命令：Scrapy startproject m