scrapy爬取豆瓣top250电影数据

scrapy爬取豆瓣top250电影数据

scrapy框架

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
scrapy的组成结构如下图所示：

图片中各层含义：

• Spiders(爬虫器)：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)
• Engine(引擎)：框架核心，负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等
• Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理队列，当引擎需要时，交还给引
• Downloader(下载器)：负责下载Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Engine(引擎)，由引擎交给Spider来处理
• ItemPipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方
• Downloader Middlewares（下载中间件）：介于Scrapy引擎和下载器之间的中间件，主要是处理Scrapy引擎与下载器之间的请求及响应
• Spider Middlewares（Spider中间件）：介于Scrapy引擎和爬虫之间的中间件，主要工作是处理蜘蛛的响应输入和请求输出
• Scheduler Middlewares（调度中间件）：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应

创建虚拟环境，安装scrapy框架

直接安装pip install scrapy 一般会报错，可以通过下列方法解决
1、查看报错安装报错模块(下面以Twisted模块为例)
2、在下面网站找到（clt+f进行查找）与python版本对应的模块版本并进行下载
3、找到下载文件存放目录，并进行安装，执行下列代码
(pip install +文件位置 +文件名)

// An highlighted block
D:\codeworkpace\myprojects>pip install C:\Users\xiaoxie\Downloads Twisted-20.3.0-cp36-cp36m-win_amd64.whl

链接: https://www.lfd.uci.edu/~gohlke/pythonlibs/

安装好scrapy框架，构建爬虫工程

1. 创建文件夹存放爬虫工程 ：在电脑D（自己随意即可，一般不建议放在c盘）建立pyprojects文件夹，用于存放爬虫工程；
2. 进入文件夹创建工程 ：黑窗口运行命令进入pyprojects文件夹，在黑窗口运行下列代码，创建爬虫工程（scrapy startprojiect+爬虫名）并生成爬虫文件（scrapy genspider 爬虫文件名 域名）：

// An highlighted block
D:\myprojects>scrapy startproject doubanmiove
D:\myprojects>cd doubanmiove  ##进入项目
D:\myprojects>scrapy genspider miove https://movie.douban.com/top250

3. 网站测试：测试网站是否能爬取（有没有反爬）：
   运行命令scrapy shall +爬取网站网址，下图所示，网站可以爬取。
   

scrapy 文件结构

1、 Item.py 定义需要抓取并需要后期处理的数据；
2、Pipeline.py 用于存放执行后期数据处理的功能，从而使得数据的爬取和处理分开。
3、setting.py 用于配置Scrapy，从而修改user-agent，设定爬取时间间隔，设置代理，配置各种中间件等等。

爬取数据

配置爬虫文件：

• 定义要爬取的数据，设置 Item.py文件：
  
  我们要爬取每部电影的序号、名称、导演、演员、年份、国家、类型、评分、评论人数、描述这几个关键信息，因此需要在管道文件items.py中先定义这几个对象，通过scrapy.Field()方法为每个字段定义一个数据类型。

import scrapy
class DoubanmioveItem(scrapy.Item):
    #排名
    ranking = scrapy.Field()
    # 电影名称
    title = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 评论人数
    pople_num = scrapy.Field()
    # 导演
    director = scrapy.Field