Python爬虫入门-小试CrawlSpider

标签: python 爬虫
152人阅读 评论(0) 收藏 举报
分类:

首先,先转载一张原理图:

[转载]CrawlSpider原理图.png

再贴一下官方文档的例子:

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.log('Hi, this is an item page! %s' % response.url)

        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
        return item

再贴一下重要参数:

Rule:(
      link_extractor               #定义链接提取的规则
      callback=None                #回调函数(不可使用parse方法)
      cb_kwargs=None               #传递关键字参数给回调函数的字典
      follow=None                  #是否跟进,
      process_links=None           #过滤linkextractor列表,每次获取列表都会调用
      process_request=None         # 过滤request,每次提取request都会调用
)
[此处为转载]follow说明:指定了根据link_extractor规则从response提取的链接是否需要跟进,跟进的意思就是指让CrawlSpider对这个提取的链接进行处理,继续拿到该链接的Response,然后继续使用所有的rule去匹配和提取这个Response,然后再不断的做这些步骤。callback为空时,follow默认为true,否则就是false。


LinkExtractor:(
      allow=()              #满足括号中所有的正则表达式的那些值会被提取,如果为空,则全部匹配
      deny=()               #满足括号中所有的正则表达式的那些值一定不会被提取。优先于allow参数。
      allow_domains=()      #会被提取的链接的域名列表
      deny_domains=()       #一定不会被提取链接的域名列表
      restrict_xpath=()     #限制在哪个结构中提取URL
      tags=()               #根据标签名提取数据 
      attrs=()              #根据标签属性提取数据
      .
      .
      .
)

造轮子的是用豆瓣读书/所有热门标签,所需要的信息都能在原始的请求中得到:

分析-00.png

我们所看到的这些标签都是在【div[class=”article”]】结构里面,再者这些标签的URL结构都是:【/tag/XX】:

分析-01.png

据此可以构建:

Rule(LinkExtractor(allow('/tag/'),restrict_xpaths('//div[@class="article"]')),follow=True)

点击小说标签,进入到相关的页面,我们要获取所有的链接,由于有多页,所以就要实现一个翻页的操作,获得所有的链接:

分析-02.png

通过审查元素,可以看出页码都是在【div[@class=”paginator”]】结构里面,再者这些页码的URL结构都是:【\?start=\d+\&type=】:

分析-03.png

据此可以构建:

Rule(LinkExtractor(allow('\?start=\d+\&type='),restrict_xpaths('//div[@class="paginator"]')),follow=True)

最终,就可以进入到详情页面中提取我们想要的信息了,详情页都是在【ul[@class=”subject-list”]】结构里面,再者这些页码的URL结构都是:【/subject/\d+/$】:

分析-04.png

Rule(LinkExtractor(allow=('/subject/\d+/$'),restrict_xpaths=('//ul[@class="subject-list"]')),callback='parse_item')

详情页感觉还是不好提取,我就提取了几个简单的,有兴趣的可以自己试试多提取点内容。

from scrapy.spider import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
from dbdushu.items import DbdushuItem


class DoubanSpider(CrawlSpider):
    Num=1
    name = 'douban'
    # allowed_domains = ['www.douban.com']
    start_urls = ['https://book.douban.com/tag/?view=type&icn=index-sorttags-all']
    rules=(
        Rule(LinkExtractor(allow=('/tag/'),restrict_xpaths=('//div[@class="article"]')),follow=True),
        Rule(LinkExtractor(allow=('\?start=\d+\&type='),restrict_xpaths=('//div[@class="paginator"]')),follow=True),
        Rule(LinkExtractor(allow=('/subject/\d+/$'),restrict_xpaths=('//ul[@class="subject-list"]')),callback='parse_item'),
    )

    def parse_item(self, response):
        print('==========正在处理:#%r =========='%self.Num)
        self.Num=self.Num+1
        item=DbdushuItem()
        item['link']=response.url
        item['title']=response.xpath('//*[@id="wrapper"]/h1/span/text()').extract_first().strip()
        if response.xpath('//*[@id="info"]/span[1]/a'):
            item['author']=''.join(response.xpath('//*[@id="info"]/span[1]/a/text()').extract()).strip()
        if response.xpath('//*[@id="info"]/a[1]'):
            item['author']=''.join(response.xpath('//*[@id="info"]/a[1]/text()').extract()).strip()
        item['score']=response.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()').extract_first(default='No Found').strip()
        yield item

结果就保存在Mongodb,上次爬用手机号注册了个账号想怕电影评论,没几分钟就直接账号永久被封,实在是傻眼了。这个下载延迟刚开始设置了1.5s,爬了一会觉得太慢了,于是修改成了0.8s,过一会就要求输入验证码了,应该还是太快了,最后还是修改成了1.5s,心累:

运行-02.png

一万多本了,不想爬了:

运行-03.png

查看评论

Scrapy框架利用CrawlSpider创建自动爬虫

一、适用条件    可以对有规律或者无规律的网站进行自动爬取  二、代码讲解   (1)创健scrapy项目 E:myweb>scrapy startproject mycwpjt Ne...
  • u012017783
  • u012017783
  • 2017-07-27 09:48:43
  • 1744

scrapy初始第三波——CrawlSpider爬取拉勾招聘网

一,前言   之前利用scrapy爬取伯乐在线,知乎时是用到scrapy的basic模板,即Spider,这次用CrawlSpider来爬取拉勾网的招聘信息   CrawlSpider基于Spider...
  • JavaLixy
  • JavaLixy
  • 2017-09-24 15:04:00
  • 2943

网络爬虫之Scrapy实战三:爬取多个网页CrawlSpider

本文介绍了scrapy中CrawlSpider的用法
  • zhfcmx1
  • zhfcmx1
  • 2017-05-19 23:14:25
  • 2803

scrapy爬虫之crawlspide爬取豆瓣近一周同城活动

简介 本文主要介绍crawlspider爬取豆瓣近一周同城活动。 要点:item/itemloader利用input_processor/output_processor对爬取的数据进行过滤。 ...
  • yanggd1987
  • yanggd1987
  • 2018-01-14 18:44:16
  • 180

scrapy爬虫:CrawlSpider用法与总结

Class scrapy.spiders.CrawlSpider           爬取一般网站常用的 spider。其定义了一些规则(rule)来提供跟进 link 的方便的机制。 也许该 sp...
  • MrZhangZZ
  • MrZhangZZ
  • 2017-02-23 21:25:55
  • 488

gcrawler:一个基于gevent的简单爬虫框架

模仿Scrapy的工作方式用gevent实现了一个简单的爬虫小框架:gcrawler
  • Raptor
  • Raptor
  • 2011-03-06 16:54:00
  • 15677

Python网络爬虫小试刀——抓取ZOL桌面壁纸图片4

获取整个网站所有类型集合的壁纸图片使用urllib2,正则表达式,threading等高效下载网站’http://desk.zol.com.cn‘中壁纸图片。...
  • u011197105
  • u011197105
  • 2015-12-31 09:45:48
  • 688

scrapy自动多网页爬取CrawlSpider类(五)

一.目的。 自动多网页爬取,这里引出CrawlSpider类,使用更简单方式实现自动爬取。 二.热身。 1.CrawlSpider (1)概念与作用: 它是Spide...
  • u013378306
  • u013378306
  • 2016-11-03 17:07:54
  • 3498

python爬虫从入门到放弃(一)之初识爬虫

什么是爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模...
  • omnispace
  • omnispace
  • 2018-01-18 16:48:21
  • 450

Python爬虫:入门+进阶大纲

第一章:Python 爬虫入门1、什么是爬虫 网址构成和翻页机制 网页源码结构及网页请求过程 爬虫的应用及基本原理 2、初识Python爬虫 Python爬虫环境搭建 创建第一个爬虫:爬取百度首页 爬...
  • shuiyuejihua
  • shuiyuejihua
  • 2017-12-26 18:17:21
  • 1059
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 414
    排名: 11万+
    文章存档
    最新评论