大数据时代下的Scrapy爬虫框架

---

前言

随着大数据时代的来临,数据对一个企业越来越重要,没有数据的支撑,那么这个企业必然会落后于其它企业,那么怎么样获取数据呢？本篇文章将告诉你如何从互联网上抓取有用的数据并持久化存储

一、Scrapy是什么？

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～

二、使用步骤

1.安装Scrapy

pip install scrapy

2.创建Scrapy项目

scrapy startproject 项目名

3.Scrapy架构图

Item Pipeline:可以简称为数据结构,即要存储的数据的结构,可以理解为面向对象中的类,这个模块在Spiders模块解析后,会进行回调。
Spiders:数据解析模块,即在此模块中,只是做对数据的解析，并提取链接信息发送给Scheduler模块进行排队。
Downloader:下载模块,只做数据请求,并将返回的数据放入Spiders中解析。
Scheduler:队列模块,只负责对请求的链接进行排序并发送给Downloader.

三.实战项目:爬取豆瓣电影TOP250电影信息

1.items.py

该模块对应items模块

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy
class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    ##电影序号
    movie_number=scrapy.Field()
    ##电影名字
    movie_name=scrapy.Field()
    ##电影信息
    movie_tostar=scrapy.Field()
    ##星级
    movie_star