scrapy爬取豆瓣top250电影数据

scrapy爬取豆瓣top250电影数据

scrapy框架

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
scrapy的组成结构如下图所示:
在这里插入图片描述
图片中各层含义:

  • Spiders(爬虫器):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)
  • Engine(引擎):框架核心,负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等
  • Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理队列,当引擎需要时,交还给引
  • Downloader(下载器):负责下载Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Engine(引擎),由引擎交给Spider来处理
  • ItemPipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方
  • Downloader Middlewares(下载中间件):介于Scrapy引擎和下载器之间的中间件,主要是处理Scrapy引擎与下载器之间的请求及响应
  • Spider Middlewares(Spider中间件):介于Scrapy引擎和爬虫之间的中间件,主要工作是处理蜘蛛的响应输入和请求输出
  • Scheduler Middlewares(调度中间件):介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应

创建虚拟环境,安装scrapy框架

直接安装pip install scrapy 一般会报错,可以通过下列方法解决
1、查看报错安装报错模块(下面以Twisted模块为例)
2、在下面网站找到(clt+f进行查找)与python版本对应的模块版本并进行下载
3、找到下载文件存放目录,并进行安装,执行下列代码
(pip install +文件位置 +文件名)

// An highlighted block
D:\codeworkpace\myprojects>pip install C:\Users\xiaoxie\Downloads Twisted-20.3.0-cp36-cp36m-win_amd64.whl

链接: https://www.lfd.uci.edu/~gohlke/pythonlibs/

安装好scrapy框架,构建爬虫工程

  1. 创建文件夹存放爬虫工程 :在电脑D(自己随意即可,一般不建议放在c盘)建立pyprojects文件夹,用于存放爬虫工程;
  2. 进入文件夹创建工程 :黑窗口运行命令进入pyprojects文件夹,在黑窗口运行下列代码,创建爬虫工程(scrapy startprojiect+爬虫名)并生成爬虫文件(scrapy genspider 爬虫文件名 域名):
// An highlighted block
D:\myprojects>scrapy startproject doubanmiove
D:\myprojects>cd doubanmiove  ##进入项目
D:\myprojects>scrapy genspider miove https://movie.douban.com/top250
  1. 网站测试:测试网站是否能爬取(有没有反爬):
    运行命令scrapy shall +爬取网站网址,下图所示,网站可以爬取。
    在这里插入图片描述

scrapy 文件结构project的文件结构如下:

1、 Item.py 定义需要抓取并需要后期处理的数据;
2、Pipeline.py 用于存放执行后期数据处理的功能,从而使得数据的爬取和处理分开。
3、setting.py 用于配置Scrapy,从而修改user-agent,设定爬取时间间隔,设置代理,配置各种中间件等等。

爬取数据

配置爬虫文件:

  • 定义要爬取的数据,设置 Item.py文件:
    在这里插入图片描述
    我们要爬取每部电影的序号、名称、导演、演员、年份、国家、类型、评分、评论人数、描述这几个关键信息,因此需要在管道文件items.py中先定义这几个对象,通过scrapy.Field()方法为每个字段定义一个数据类型。
import scrapy
class DoubanmioveItem(scrapy.Item):
    #排名
    ranking = scrapy.Field()
    # 电影名称
    title = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 评论人数
    pople_num = scrapy.Field()
    # 导演
    director = scrapy.Field
  • 6
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 6
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值