Scrapy简介
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
架构概览
- Scrapy Engine:引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件,此组件相当于爬虫的“大脑”,是整个爬虫的调度中心。
- 调度器(Scheduler):调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。
初始的爬取URL和后续在页面中获取的待爬取的URL将放入调度器中,等待爬取。同时调度器会自动去除重复的URL(如果特定的URL不需要去重也可以通过设置实现,如post请求的URL) - 下载器(Downloader):下载器负责获取页面数据并提供给引擎,而后提供给spider。
- Spiders: Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
- Item Pipeline: Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。
- 下载器中间件(Downloader middlewares): 下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能
通过设置下载器中间件可以实现爬虫自动更换user-agent、IP等功能。 - Spider中间件(Spider middlewares): Spider中间件是在引擎及Spider之间的特定钩子(specific
hook),处理spider的输入(response)和输出(items及requests)。
其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。
数据流
1.引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3.引擎向调度器请求下一个要爬取的URL。
4.调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5.一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8.引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。
Scrapy实战
1.创建项目
在开始爬取之前,首先要创建一个新的Scrapy项目。这里以抓取凤凰科技新闻为例,进入你打算存储代码的目录中,运行下列命令:
scrapy startproject scrapyspider
该命令将会创建包含下列内容的scrapyspider目录:
scrapyspider/
scrapy.cfg
scrapyspider/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
这些文件分别是:
scrapy.cfg: 项目的配置文件。
scrapyspider/: 该项目的python模块。之后您将在此加入代码。
scrapyspider/items.py: 项目中的item文件。
scrapyspider/pipelines.py: 项目中的pipelines文件。
scrapyspider/settings.py: 项目的设置文件。
scrapyspider/spiders/: 放置spider代码的目录。
2. 编写你的spiders
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
from News_scrapy.items import ifengItem
class ifeng(CrawlSpider):
# 爬虫名
name = "ifeng"
# 爬取域范围, 允许爬虫在这个域名下进行爬取
allowed_domains = ["tech.ifeng.com"]
# 起始url列表, 爬虫执行后的第一批请求, 队列处理
start_urls = ['http://tech.ifeng.com/']
rules = (
# 从起始页提取匹配正则式'/channel/\d{1,3}\.html'的链接,并使用parse来解析
Rule(LxmlLinkExtractor(allow=(r'/listpage/\d{5}/\d/.+', )), follow=True),
# 提取匹配'/article/[\d]+.html'的链接,并使用parse_item_yield来解析它们下载后的内容,不递归
Rule(LxmlLinkExtractor(allow=(r'/a/\d{8}/[\d|_]+\.shtml', )), callback='parse_item'),
)
def parse_item(self, response):
item = ifengItem()
item['url'] = response.url
item['title'] = response.xpath('//*[@id="artical_topic"]/text()').extract()[0].strip()
item['pub_time'] = response.xpath('//*[@id="artical_sth"]/p/span[1]/text()').extract()[0].strip()
item['content_code'] = response.xpath('//*[@id="main_content"]').extract()[0].strip()
# 返回每个提取到的item数据, 给管道文件处理, 同时还会回来执行后面的代码
yield item
3. items.py定义要抓取的字段
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class NewsItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field() # 文章标题
url = scrapy.Field() # 文章来源
content_code = scrapy.Field() # 文章内容块(HTML代码块)
pub_time = scrapy.Field() # 发布时间
4.pipelines.py处理提取出来的item, 这里将他保存成json文件
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
class NewsScrapyPipeline(object):
def __init__(self):
pass
def process_item(self, item, spider):
# 'a' 追加
if spider.name == 'ifeng':
self.f = open('ifeng.json', 'a')
# 中文使用unicode编码
content = json.dumps(dict(item), ensure_ascii=False) + '\n'
self.f.write(content)
return item
def close_spider(self, spider):
self.f.close()
5..启动爬虫
打开终端进入项目所在路径(即:scrapyspider路径下)运行下列命令:
scrapy crawl ifeng
启动爬虫后就可以看到打印出来当前页所有文章标题了。
爬虫时遇到的一些问题以及经验总结
使用response.xpath解析网页信息的小技巧
使用google浏览器安装xpath helper插件,可以敲xpath路径手动定位到信息。或者选中内容检查网页代码,复制xpath路径
Scrapy爬取规则(Crawling rules)的应用
class scrapy.contrib.spiders.Rule
(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)
- link_extractor是一个Link Extractor对象。 其定义了如何从爬取到的页面提取链接
- follow是一个布尔(boolean)值,指定了根据该规则从response提取的链接是否需要跟进。 如果callback为None,follow 默认设置为True,否则默认为False。
- 编写爬虫规则时,请避免使用parse作为回调函数。 由于CrawlSpider使用parse方法来实现其逻辑,如果您覆盖了parse方法,crawl spider 将会运行失败
debug crawled (200) 问题小结
- xpath路径错误
- 规则定义错误(正则匹配有问题)
设置浏览器代理
在setting.py中 user-agent设置
USER_AGENT ="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
scrapy shell进行测试
scrapy shell 'www.baidu.com'
可以进行返回的response测试,如response.url, response.head, response.xpath()等,可以在编写spiders的时候测试,提高效率