python爬虫——scrapy+selenium爬取新浪微博及评论

本文主要对爬取过程中所用到的知识做简单总结，最后有项目链接。

一、项目简介

本项目利用python的scrapy框架+selenium模拟登陆微博来爬取带有关键字的微博及微博下面的评论（1 、2级评论）。

当时自己比较关注“小凤雅事件”，而微博又是舆论的战场，就想爬取“小凤雅事件”的相关微博以及评论，看看大家的关注点在哪里，于是就行动起来了。

下面是对主要技术的介绍。

二、scrapy介绍

 

1、Scrapy 组件

组件Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器(Scheduler)

调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。Item PipelineItem Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及