爬虫总结(二)-- scrapy

最新推荐文章于 2023-05-04 08:35:46 发布
最新推荐文章于 2023-05-04 08:35:46 发布
阅读量7.3k 收藏 3
点赞数 1
分类专栏： Web Crawler / 爬虫 文章标签： 爬虫 web crawler

用现成的框架的好处就是不用担心 cookie、retry、频率限制、多线程的事。这一篇把上一篇的实例用 scrapy 框架重新实现一遍。主要步骤就是新建项目 (Project) –> 定义目标（Items）–> 制作爬虫（Spider）–> 存储结果（Pipeline）

Scrapy 概述

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试

Scrapy 架构

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下

绿线是数据流向，首先从初始 URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，Spider 分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回 Scheduler ；另一种是需要保存的数据，它们则被送到 Item Pipeline 那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

Scrapy 组件

  • 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心)
  • 调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  • 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
  • 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
  • 项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
  • 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
  • 爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
  • 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy 运行流程

  1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取
  2. 引擎把URL封装成一个请求(Request)传给下载器，下载器把资源下载下来，并封装成应答包(Response)
  3. 爬虫解析Response
  4. 若是解析出实体（Item）,则交给实体管道进行进一步的处理;若是解析出的是链接（URL）,则把URL交给Scheduler等待抓取

默认情况下，Scrapy使用 LIFO 队列来存储等待的请求。简单的说，就是 深度优先顺序 。如果想要 广度优先顺序 进行爬取，需要进行设定。

Scrapy 存在的问题

爬虫是一个很依赖于网络io的应用，单机的处理能力有限，很快就变成瓶颈。而scrapy并不是一个分布式的设计，在需要大规模爬取的情况下就很成问题。当然可以通过修改Request队列来实现分布式爬取，而且工作量也不算特别大。

  • scrapy的并行度不高。力图在爬虫里做一些计算性的操作就会影响抓取的速率。这主要是python里的线程机制造成的，因为Python使用了GIL(和Ruby一样)，多线程并不会带来太多速度上的提升(除非用Python的C扩展实现自己的模块，这样绕过了GIL)。Summary:Use Python threads if you need to run IO operations in parallel. Do not if you need to run computations in parallel.
  • scrapy的内存消耗很快。可能是出于性能方面的考虑，pending requests并不是序列化存储在硬盘中，而是放在内存中的(毕竟IO很费时)，而且所有Request都放在内存中。你抓取到 百万网页的时候，考虑到单个网页时产生很多链接的，pending request很可能就近千万了，加上脚本语言里的对象本来就有额外成本，再考虑到GC不会立即释放内存，内存占用就相当可观了。
    归根到底，这两个问题是根植于语言之中的。

Scrapy 实例

新建项目 (Project)

scrapy startproject news_scrapy

输入以上命令之后，就会看见命令行运行的目录下多了一个名为 news_scrapy 的目录，目录的结构如下：

|---- news_scrapy
| |---- news_scrapy
|   |---- __init__.py
|   |---- items.py        #用来存储爬下来的数据结构（字典形式）
|    |---- pipelines.py    #用来对爬出来的item进行后续处理，如存入数据库等
|    |---- settings.py    #爬虫配置文件
|    |---- spiders        #此目录用来存放创建的新爬虫文件（爬虫主体）
|     |---- __init__.py
| |---- scrapy.cfg        #项目配置文件

定义目标（Items）

Items是装载抓取的数据的容器，工作方式像 python 里面的字典，但它提供更多的保护，比如对未定义的字段填充以防止拼写错误
通过创建scrapy.Item类, 并且定义类型为 scrapy.Field 的类属性来声明一个Item，通过将需要的item模型化，来控制站点数据。
编辑 items.py

# -*- coding: utf-8 -*-
import scrapy
class NewsScrapyItem(scrapy.Item):
    # define the fields for your item here like:
    category = scrapy.Field()
    url = scrapy.Field()
    secondary_title = scrapy.Field()
    secondary_url = scrapy.Field()
    #text = Field()

制作爬虫（Spider）

Spider 定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式，以此来提取items。
要建立一个Spider，你必须用scrapy.spider.BaseSpider创建一个子类，并确定三个强制的属性：

  • name：爬虫的识别名称，必须是唯一的，在不同的爬虫中你必须定义不同的名字。
  • start_urls：爬取的URL列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
  • parse()：解析的方法，调用的时候传入从每一个URL传回的Response对象作为唯一参数，负责解析并匹配抓取的数据(解析为item)，跟踪更多的URL。

在 spiders 目录下新建 Wynews.py，代码如下。利用 yield Request(url=item[‘url’],meta={‘item_1’: item},callback=self.second_parse) 来进行第二层爬取。

class WynewsSpider(BaseSpider):
    name = "Wynews"
    start_urls = ['http://news.163.com/rank/']

    def parse(self,response):
        html = HtmlXPathSelector(response)
        page = html.xpath('//div[@class="subNav"]/a')
        for i in page:
            item = dict()
            item['category'] = i.xpath('text()').extract_first()
            item['url'] = i.xpath('@href').extract_first()
            print item['category'],item['url']
            yield Request(url=item['url'],meta={'item_1': item},callback=self.second_parse)

    def second_parse(self,response):
        item_1= response.meta['item_1']
        html = HtmlXPathSelector(response)
        #print 'response ',response
        page = html.xpath('//tr/td/a')
        #print 'page ',page
        items = []
        for i in page:
            item = DidiScrapyItem()
            item['category'] = item_1['category'].encode('utf8')
            item['url'] = item_1['url'].encode('utf8')
            item['secondary_title'] = i.xpath('text()').extract_first().encode('utf8')
            item['secondary_url'] = i.xpath('@href').extract_first().encode('utf8')
            #print i.xpath('text()').extract(),i.xpath('@href').extract()
            items.append(item)
        return items

存储结果（Pipeline）

Item pipeline 的主要责任是负责处理 spider 抽取的 Item，主要任务是清理、验证和存储数据。当页面被 spider 解析后，将被发送到 pipeline，每个 pipeline 的组件都是由一个简单的方法组成的Python类。pipeline 获取Item，执行相应的方法，并确定是否需要在 pipeline中继续执行下一步或是直接丢弃掉不处理。

执行过程

  • 清理HTML数据
  • 验证解析到的数据（检查Item是否包含必要的字段）
  • 检查是否是重复数据（如果重复就删除）
  • 将解析到的数据存储到 数据库/文件 中

主要方法

  • process_item(item, spider)
    每一个item管道组件都会调用该方法，并且必须返回一个item对象实例或raise DropItem异常。
    被丢掉的item将不会在管道组件进行执行

  • open_spider(spider)
    当spider执行的时候将调用该方法

  • close_spider(spider)
    当spider关闭的时候将调用该方法

编写自己的 Pipeline

编辑 pipelines.py。把抓取的 items 保存到 json 文件中。

import json
class NewsScrapyPipeline(object):
    def __init__(self):
        self.file = open('items.json', 'w')
    def process_item(self, item, spider):
        line = json.dumps(dict(item),ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

另外，如果不考虑编码（没有中文），可以在运行爬虫的时候直接通过下面的命令导出结果。

dump到JSON文件:

scrapy crawl myspider -o items.json

dump到CSV文件:

scrapy crawl myspider -o items.csv

dump到XML文件:

scrapy crawl myspider -o items.xml

激活Item Pipeline组件

在settings.py文件中，往ITEM_PIPELINES中添加项目管道的类名，激活项目管道组件

ITEM_PIPELINES = {
    'news_scrapy.pipelines.NewsScrapyPipeline': 300,
}

开启爬虫 (Crawl)

scrapy crawl Wynews

完整代码

可能出现的问题 (Problem)

打开 items.json 文件，中文可能会出现文件乱码问题

[{"category": "\u93c2\u4f34\u6908", "url": "http://news.163.com/special/0001386F/rank_news.html", "secondary_title": "\u934b\u950b\u9422\u5cf0\u30b3\u95c3\u8e6d\u7b09\u9473\u6ec8\u69fb\u951b\u5c7e\u5d0f\u6fc2\u7a3f\u5dfb\u9359\u53c9\u7c2e\u6769\u6ec4\u7966\u95c0", "secondary_url": "http://caozhi.news.163.com/16/0615/09/BPJG6SB60001544E.html"},

这一行代码就能解决。

line = json.dumps(dict(item),ensure_ascii=False) + "\n"

结果

{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "A股闯关MSCI再度失败 索罗斯们押注对冲胜出", "secondary_url": "http://money.163.com/16/0615/06/BPJ4T69300253B0H.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "湖北副省长担心房价下跌：泡沫若破裂后果很严重", "secondary_url": "http://money.163.com/16/0615/08/BPJBM36U00252G50.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "马云:假货质量超过正品 打假很复杂", "secondary_url": "http://money.163.com/16/0615/08/BPJAIOVI00253G87.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "A股闯关未成功 纳入MSCI新兴市场指数被延迟", "secondary_url": "http://money.163.com/16/0615/07/BPJ7260D00252G50.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "马云称许多假货比真品好 网友:怪不得淘宝假货多", "secondary_url": "http://money.163.com/16/0615/08/BPJC437N002526O3.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "贪官示意家人低价买地 拆迁后获赔近亿元", "secondary_url": "http://money.163.com/16/0615/08/BPJAT58400252G50.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "又是毒胶囊:浙江查获1亿多粒毒胶囊 6人被捕", "secondary_url": "http://money.163.com/16/0615/07/BPJ8NMRG00253B0H.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "还不起了？委内瑞拉寻求宽限1年偿还中国贷款", "secondary_url": "http://money.163.com/16/0615/07/BPJ9IH3400252C1E.html"}
{"category": "财经", "url": "http://money.163.com/special/002526BH/rank.html", "secondary_title": "A股频现清仓式减持 上半年十大减持王曝光", "secondary_url": "http://money.163.com/16/0615/07/BPJ7Q9BC00254IU4.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "《装X购车指南》 30-50万都能买到啥车？", "secondary_url": "http://auto.163.com/16/0615/07/BPJ6U1J900084TUP.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "看挡杆还以为是A8L 新款哈弗H9内饰曝光", "secondary_url": "http://auto.163.com/16/0615/00/BPIGTP4B00084TUO.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "前脸/尾灯有变 新款捷达搭1.5L油耗更低", "secondary_url": "http://auto.163.com/16/0615/00/BPIGMEHE00084TUO.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "主打车型不超10万良心价 远景SUV将8月上市", "secondary_url": "http://auto.163.com/16/0615/00/BPIHR2A500084TUO.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "Macan并不是我真姓 众泰SR8搭2.0T/D", "secondary_url": "http://auto.163.com/16/0613/00/BPDBPB0J00084TUO.html"}
{"category": "汽车", "url": "http://news.163.com/special/0001386F/rank_auto.html", "secondary_title": "上海福特翼搏优惠1.5万元", "secondary_url": "http://auto.163.com/16/0615/00/BPIHH8FF000857M6.html"}

添加命令行参数

第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，如

scrapy crawl WangyiSpider -a category=打车

然后在 spider 的构造函数里加上带入的参数

      
      

       
       1
      
      

      
      

       
       2
      
      

      
      

       
       3
      
      

      
      

       
       4
      
      

      
      

       
       5
      
      

      
      

       
       6
      
      

      
      

       
       7
      
      

      
      

       
       8
      
      

      
      

       
       9
      
      

      
      

       
       10
      
      
      
      

       
       import scrapy
      
      

      
      

       
       class WangyiSpider(BaseSpider):
      
      

      
      

       
           name = "Wangyi"
      
      

      
      

       
           def __init__(self, category=None, *args, **kwargs):
      
      

      
      

       
               super(WangyiSpider, self).__init__(*args, **kwargs)
      
      

      
      

       
               self.base_url = 'http://news.yodao.com/'
      
      

      
      

       
               self.start_urls = ['http://news.yodao.com/search?q=' +
      
      

      
      

       
                                  category]

代码
通过关键词爬取网易新闻－代码

运行多个爬虫

默认情况当你每次执行scrapy crawl命令时会创建一个新的进程。但我们可以使用核心API在同一个进程中同时运行多个spider，如下，在 settings.py 的同级目录下编辑 run.py，导入编写的 spider 类如 JingdongSpider, SuningSpider。

      
      

       
       1
      
      

      
      

       
       2
      
      

      
      

       
       3
      
      

      
      

       
       4
      
      

      
      

       
       5
      
      

      
      

       
       6
      
      

      
      

       
       7
      
      

      
      

       
       8
      
      

      
      

       
       9
      
      

      
      

       
       10
      
      

      
      

       
       11
      
      

      
      

       
       12
      
      

      
      

       
       13
      
      

      
      

       
       14
      
      

      
      

       
       15
      
      

      
      

       
       16
      
      

      
      

       
       17
      
      

      
      

       
       18
      
      

      
      

       
       19
      
      

      
      

       
       20
      
      

      
      

       
       21
      
      

      
      

       
       22
      
      

      
      

       
       23
      
      

      
      

       
       24
      
      

      
      

       
       25
      
      

      
      

       
       26
      
      

      
      

       
       27
      
      

      
      

       
       28
      
      
      
      

       
       import scrapy
      
      

      
      

       
       from twisted.internet import reactor
      
      

      
      

       
       from scrapy.crawler import CrawlerRunner
      
      

      
      

       
       from scrapy.utils.log import configure_logging
      
      

      
      

       
       from scrapy.spiders import Spider
      
      

      
      

       
       from scrapy.selector import HtmlXPathSelector
      
      

      
      

       
       from items import FaqscrapyItem
      
      

      
      

       
       from scrapy.http import Request
      
      

      
      

       
       from scrapy.selector import Selector
      
      

      
      

       
       from scrapy.utils.project import get_project_settings
      
      

      
      

       
       from spiders.FAQ_jingdong import JingdongSpider
      
      

      
      

       
       from spiders.FAQ_suning import SuningSpider
      
      

      
      

       
       import re
      
      

      
      

       
       if __name__ == '__main__':
      
      

      
      

       
           settings = get_project_settings()
      
      

      
      

       
           configure_logging(settings)
      
      

      
      

       
           runner = CrawlerRunner(settings)
      
      

      
      

       
           runner.crawl(JingdongSpider)
      
      

      
      

       
           runner.crawl(SuningSpider)
      
      

      
      

       
           d = runner.join()
      
      

      
      

       
           d.addBoth(lambda _: reactor.stop())
      
      

      
      

       
           # blocks process so always keep as the last statement
      
      

      
      

       
           reactor.run()

然而不幸的是同一进程内运行多个 spider 可能会出现数据丢失问题，影响进一步的数据使用。如下：

      
      

       
       1
      
      

      
      

       
       2
      
      

      
      

       
       3
      
      
      
      

       
       {"url": "http://help.jd.com/user/issue/231-213.html", "text": "订单已提交成功，如何付款？付款方式分为以下几种：（注：先款订单请您在订单提交后24小时内完成支付，否则订单会自动取消）1.货到付款：选择货到付款，在订单送达时您可选择现金、POS机刷卡、支票方式支付货款或通过京东APP手机客户端【扫一扫】功能扫描包裹单上的订单条形码方式用手机来完成订单的支付（扫码支付）；在订单未妥投之前您还可以进入“我的订单”在线支付货款。注意：货到付款的订单，如果一个ID帐号在一个月内有过1次以上或一年内有过3次以上，无理由不接收我司配送的商品，我司将在相应的ID帐户里按每单扣除500个京豆做为运费；时间计算方法为：成功提交订单后向前推算30天为一个月，成功提交订单后向前推算365天为一年，不以自然月和自然年计算。2.在线支付：选择在线支付，请您进入“我的订单”，点击“付款”，按提示进行操作；目前在线支付支持京东白条、余额、银行卡、网银+、微信、银联在线、网银钱包、信用卡等方式进行支付，可根据您的使用喜好进行选择。3.分期付款：目前不支持信用卡分期付款。4.公司转账：提交订单后选择线下公司转账会生成15位汇款识别码，请您按照提示到银行操作转账，然后进入“我的订单”填写付款确认；5.邮局汇款：订单提交成功后，请您按照提示到邮局操作汇款，然后进入“我的订单”填写付款确认。", "question": "订单已提交成功，如何付款？", "title": "支付流程"}
      
      

      
      

       
       �系统停机维护期间。（二） 电信设备出现故障不能进行数据传输的。（三） 由于黑客攻击、网络供应商技术调整或故障、网站升级、银行方面的问题等原因而造成的易付宝服务中断或延迟。（四） 因台风、地震、海啸、洪水、停电、战争、恐怖袭击等不可抗力之因素，造成易付宝系统障碍不能执行业务的。 第十三条  关于本协议条款和其他协议、告示或其他有关您使用本服务的通知，易付宝将以电子形式或纸张形式通知您，包括但不限于依据您向易付宝提供的电子邮件地址发送电子邮件的方式、依据投资者提供的联系地址寄送挂号信的方式、易付宝或合作伙伴网站公告、或发送手机短信、系统内通知和电话通知等方式。 第十四条  易付宝有权根据需要不时地修改本协议或制定、修改各类规则，但是，对于减少您权益或加重您义务的新增、变更或修改，易付宝将在生效日前提前至少7个日历日进行公示，如您不同意相关新增、变更或修改，您可以选择在公示期内终止本协议并停止使用本服务。如果相关新增、变更或修改生效后，您继续使用本服务则表示您接受修订后的权利义务条款。 第十五条 因本协议引起的或与本协议有关的争议，均适用中华人民共和国法律。 第十六条  因本协议引起的或与本协议有关的争议，易付宝与用户协商解决。协商不成的，任何一方均有权向被告住所地人民法院提起诉讼。 第十七条   本协议作为《易付宝余额理财服务协议》的有效补充，本协议未约定的内容，双方需按照《易付宝余额理财服务协议》相关约定。 ", "question": "零钱宝定期转出服务协议", "title": "苏宁理财"}
      
      

      
      

       
       l": "http://help.suning.com/page/id-536.htm", "text": "

代码

Scrapy 调优

提高并发能力

增加并发

并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。Scrapy 默认的全局并发限制(16)对同时爬取大量网站的情况并不适用，因此需要增加这个值。 增加多少取决于爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得 Scrapy 进程占取CPU与并发数的关系。选择一个能使CPU占用率在80%-90%的并发数比较恰当。

# 增加全局并发数
CONCURRENT_REQUESTS = 100

mac 下调试，运行程序后通过 top 监控，p 按 cpu 排序。观察发现，在 CONCURRENT_REQUESTS = 32 时，cpu 占用最多到 50% 左右，调整到 CONCURRENT_REQUESTS = 100，cpu 占用 90% 上下。

查看本机 cpu 信息，用 sysctl machdep.cpu 命令，如下，可以看到我的机子是双核、4线程的。

# cpu 信息
$ sysctl machdep.cpu
..........
machdep.cpu.core_count: 2
machdep.cpu.thread_count: 4
machdep.cpu.tsc_ccc.numerator: 0
machdep.cpu.tsc_ccc.denominator: 0

降低log级别

为了减少CPU使用率(及记录log存储的要求), 当调试程序完毕后，可以不使用 DEBUG log级别。

# 设置Log级别:
LOG_LEVEL = 'INFO'

禁止cookies

禁止cookies能减少CPU使用率及Scrapy爬虫在内存中记录的踪迹，提高性能。

# 禁止cookies:
COOKIES_ENABLED = False

禁止重试

对失败的HTTP请求进行重试会减慢爬取的效率，尤其是当站点响应很慢(甚至失败)时， 访问这样的站点会造成超时并重试多次。这是不必要的，同时也占用了爬虫爬取其他站点的能力。

# 禁止重试:
RETRY_ENABLED = False

减小下载超时

对一个非常慢的连接进行爬取(一般对通用爬虫来说并不重要)， 减小下载超时能让卡住的连接能被快速的放弃并解放处理其他站点的能力。

# 减小下载超时:
DOWNLOAD_TIMEOUT = 15

# 可能会引发的错误
TimeoutError: User timeout caused connection failure: Getting http://homea.people.com.cn/n1/2016/0628/c69176-28504657.html took longer than 15.0 seconds..

通过如上配置，我的爬虫每分钟响应的request是之前的4倍，然而值得注意的是，这些设置并不是在所有场景都适用，需要通过具体场景试验，具体问题具体分析。

避免被禁止(ban)

有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。下面是些处理这些站点的建议(tips):

  • 使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)
  • 禁止cookies(参考 COOKIES_ENABLED)，有些站点会使用cookies来发现爬虫的轨迹。
  • 设置下载延迟(2或更高)。参考 DOWNLOAD_DELAY 设置。
  • 如果可行，使用 Google cache 来爬取数据，而不是直接访问站点。
  • 使用IP池。例如免费的 Tor项目 或付费服务(ProxyMesh)。
  • 使用高度分布式的下载器(downloader)来绕过禁止(ban)，就只需要专注分析处理页面。这样的例子有: Crawlera

如果仍然无法避免被ban，考虑商业支持.

实例

  1. 首先要有的是 user agent池 和 IP池。user agent池如下，添加在 settings.py 中。

    USER_AGENTS = [
 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
 "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
 "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
 "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
 "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
 "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
 "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

  2. IP池 获取方式有多种，这里抓取的是西刺免费代理IP的 IP，注意实时更新问题，否则很容易失败。将抓取的 IP 以 http://host1:port 的格式存储于 list.txt 文本中。在 settings.py 里添加 PROXY_LIST = ‘/path/to/proxy/list.txt’。

  3. 有了 user agent池 和 IP池，接下来需要编写中间件，如下。

            
        
    
         
         1
        
        
    
        
        
    
         
         2
        
        
    
        
        
    
         
         3
        
        
    
        
        
    
         
         4
        
        
    
        
        
    
         
         5
        
        
    
        
        
    
         
         6
        
        
    
        
        
    
         
         7
        
        
    
        
        
    
         
         8
        
        
    
        
        
    
         
         9
        
        
    
        
        
    
         
         10
        
        
    
        
        
    
         
         11
        
        
    
        
        
    
         
         12
        
        
    
        
        
    
         
         13
        
        
    
        
        
    
         
         14
        
        
    
        
        
    
         
         15
        
        
    
        
        
    
         
         16
        
        
    
        
        
    
         
         17
        
        
    
        
        
    
         
         18
        
        
    
        
        
    
         
         19
        
        
    
        
        
    
         
         20
        
        
    
        
        
    
         
         21
        
        
    
        
        
    
         
         22
        
        
    
        
        
    
         
         23
        
        
    
        
        
    
         
         24
        
        
    
        
        
    
         
         25
        
        
    
        
        
    
         
         26
        
        
    
        
        
    
         
         27
        
        
    
        
        
    
         
         28
        
        
    
        
        
    
         
         29
        
        
    
        
        
    
         
         30
        
        
    
        
        
    
         
         31
        
        
    
        
        
    
         
         32
        
        
    
        
        
    
         
         33
        
        
    
        
        
    
         
         34
        
        
    
        
        
    
         
         35
        
        
    
        
        
    
         
         36
        
        
    
        
        
    
         
         37
        
        
    
        
        
    
         
         38
        
        
    
        
        
    
         
         39
        
        
    
        
        
    
         
         40
        
        
    
        
        
    
         
         41
        
        
    
        
        
    
         
         42
        
        
    
        
        
    
         
         43
        
        
    
        
        
    
         
         44
        
        
    
        
        
    
         
         45
        
        
    
        
        
    
         
         46
        
        
    
        
        
    
         
         47
        
        
    
        
        
    
         
         48
        
        
    
        
        
    
         
         49
        
        
    
        
        
    
         
         50
        
        
    
        
        
    
         
         51
        
        
    
        
        
    
         
         52
        
        
    
        
        
    
         
         53
        
        
    
        
        
    
         
         54
        
        
    
        
        
    
         
         55
        
        
    
        
        
    
         
         56
        
        
    
        
        
    
         
         57
        
        
    
        
        
    
         
         58
        
        
    
        
        
    
         
         59
        
        
    
        
        
    
         
         60
        
        
    
        
        
    
         
         61
        
        
    
        
        
    
         
         62
        
        
    
        
        
    
         
         63
        
        
    
        
        
    
         
         64
        
        
    
        
        
    
         
         65
        
        
    
        
        
    
         
         66
        
        
    
        
        
    
         
         67
        
        
            
        
    
         
         import re
        
        
    
        
        
    
         
         import random
        
        
    
        
        
    
         
         import base64
        
        
    
        
        
    
         
         from scrapy import log
        
        
    
        
        
    
         
         class RandomProxy(object):
        
        
    
        
        
    
         
             def __init__(self, settings):
        
        
    
        
        
    
         
                 self.proxy_list = settings.get('PROXY_LIST')
        
        
    
        
        
    
         
                 fin = open(self.proxy_list)
        
        
    
        
        
    
         
                 self.proxies = {}
        
        
    
        
        
    
         
                 for line in fin.readlines():
        
        
    
        
        
    
         
                     parts = re.match('(\w+://)(\w+:\w+@)?(.+)', line)
        
        
    
        
        
    
         
                     if not parts:
        
        
    
        
        
    
         
                         continue
        
        
    
        
        
    
         
                     # Cut trailing @
        
        
    
        
        
    
         
                     if parts.group(2):
        
        
    
        
        
    
         
                         user_pass = parts.group(2)[:-1]
        
        
    
        
        
    
         
                     else:
        
        
    
        
        
    
         
                         user_pass = ''
        
        
    
        
        
    
         
                     self.proxies[parts.group(1) + parts.group(3)] = user_pass
        
        
    
        
        
    
         
                 fin.close()
        
        
    
        
        
    
         
             @classmethod
        
        
    
        
        
    
         
             def from_crawler(cls, crawler):
        
        
    
        
        
    
         
                 return cls(crawler.settings)
        
        
    
        
        
    
         
             def process_request(self, request, spider):
        
        
    
        
        
    
         
                 # Don't overwrite with a random one (server-side state for IP)
        
        
    
        
        
    
         
                 if 'proxy' in request.meta:
        
        
    
        
        
    
         
                     return
        
        
    
        
        
    
         
                 proxy_address = random.choice(self.proxies.keys())
        
        
    
        
        
    
         
                 proxy_user_pass = self.proxies[proxy_address]
        
        
    
        
        
    
         
                 request.meta['proxy'] = proxy_address
        
        
    
        
        
    
         
                 if proxy_user_pass:
        
        
    
        
        
    
         
                     basic_auth = 'Basic ' + base64.encodestring(proxy_user_pass)
        
        
    
        
        
    
         
                     request.headers['Proxy-Authorization'] = basic_auth
        
        
    
        
        
    
         
                     print "**************ProxyMiddleware have pass************" + proxy['ip_port']
        
        
    
        
        
    
         
             def process_exception(self, request, exception, spider):
        
        
    
        
        
    
         
                 proxy = request.meta['proxy']
        
        
    
        
        
    
         
                 log.msg('Removing failed proxy <%s>, %d proxies left' % (
        
        
    
        
        
    
         
                             proxy, len(self.proxies)))
        
        
    
        
        
    
         
                 try:
        
        
    
        
        
    
         
                     del self.proxies[proxy]
        
        
    
        
        
    
         
                 except ValueError:
        
        
    
        
        
    
         
                     pass
        
        
    
        
        
    
         
         class RandomUserAgent(object):
        
        
    
        
        
    
         
             """Randomly rotate user agents based on a list of predefined ones"""
        
        
    
        
        
    
         
             def __init__(self, agents):
        
        
    
        
        
    
         
                 self.agents = agents
        
        
    
        
        
    
         
             @classmethod
        
        
    
        
        
    
         
             def from_crawler(cls, crawler):
        
        
    
        
        
    
         
                 return cls(crawler.settings.getlist('USER_AGENTS'))
        
        
    
        
        
    
         
             def process_request(self, request, spider):
        
        
    
        
        
    
         
                 print "**************************" + random.choice(self.agents)
        
        
    
        
        
    
         
                 request.headers.setdefault('User-Agent', random.choice(self.agents))

  4. 改写 spider，check 某个元素，确保 proxy 能够返回 target page。

    if not pageUrls:
 yield Request(url=response.url, dont_filter=True)

  5. 配置 settings.py

    # Retry many times since proxies often fail
RETRY_TIMES = 10
# Retry on most error codes since proxies fail for different reasons
RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408]
# Configure a delay for requests for the same website (default: 0)
DOWNLOAD_DELAY=3
# Disable cookies (enabled by default)
COOKIES_ENABLED=False
# Enable downloader middlewares
DOWNLOADER_MIDDLEWARES = {
 'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': 90,
 # Fix path to this module
 'blogCrawler.middlewares.RandomProxy': 100,
 'blogCrawler.middlewares.RandomUserAgent': 1,
 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
}

这是一份简单的测试代码

其他调优

来自 使用scrapy进行大规模抓取

  1. 如果想要爬取的质量更高，尽量使用宽度优先的策略，在配置里设置 SCHEDULER_ORDER = ‘BFO’

  2. 修改单爬虫的最大并行请求数 CONCURRENT_REQUESTS_PER_SPIDER

  3. 修改twisted的线程池大小，默认值是10。参考Using Threads in Twisted，在scrapy/core/manage.py爬虫启动前加上

reactor.suggestThreadPoolSize(poolsize)

  1. 可以开启dns cache来提高性能。在配置里面加上

    EXTENSIONS={’scrapy.contrib.resolver.CachingResolver’: 0,}

  2. 如果自己实现duplicate filter的话注意要保证它是一直可用的，dupfilter里的异常是不会出现在日志文件中的，好像外面做了try-expect处理

去重与增量抓取

去重

Scrapy支持通过RFPDupeFilter来完成页面的去重（防止重复抓取）。RFPDupeFilter实际是根据request_fingerprint实现过滤的，实现如下：

      
      

       
       1
      
      

      
      

       
       2
      
      

      
      

       
       3
      
      

      
      

       
       4
      
      

      
      

       
       5
      
      

      
      

       
       6
      
      

      
      

       
       7
      
      

      
      

       
       8
      
      

      
      

       
       9
      
      

      
      

       
       10
      
      

      
      

       
       11
      
      

      
      

       
       12
      
      

      
      

       
       13
      
      

      
      

       
       14
      
      

      
      

       
       15
      
      

      
      

       
       16
      
      

      
      

       
       17
      
      
      
      

       
       def request_fingerprint(request, include_headers=None):
      
      

      
      

       
       if include_headers:
      
      

      
      

       
         include_headers = tuple([h.lower() for h in sorted(include_headers)])
      
      

      
      

       
       cache = _fingerprint_cache.setdefault(request, {})
      
      

      
      

       
       if include_headers not in cache:
      
      

      
      

       
         fp = hashlib.sha1()
      
      

      
      

       
         fp.update(request.method)
      
      

      
      

       
         fp.update(canonicalize_url(request.url))
      
      

      
      

       
         fp.update(request.body or '')
      
      

      
      

       
         if include_headers:
      
      

      
      

       
           for hdr in include_headers:
      
      

      
      

       
             if hdr in request.headers:
      
      

      
      

       
               fp.update(hdr)
      
      

      
      

       
               for v in request.headers.getlist(hdr):
      
      

      
      

       
                 fp.update(v)
      
      

      
      

       
         cache[include_headers] = fp.hexdigest()
      
      

      
      

       
       return cache[include_headers]

我们可以看到，去重指纹是sha1(method + url + body + header)，所以，实际能够去掉重复的比例并不大。

如果我们需要自己提取去重的finger，需要自己实现Filter，并配置上它。

例如下面这个Filter只根据url去重：

      
      

       
       1
      
      

      
      

       
       2
      
      

      
      

       
       3
      
      

      
      

       
       4
      
      

      
      

       
       5
      
      

      
      

       
       6
      
      

      
      

       
       7
      
      

      
      

       
       8
      
      

      
      

       
       9
      
      

      
      

       
       10
      
      

      
      

       
       11
      
      
      
      

       
       from scrapy.dupefilter import RFPDupeFilter
      
      

      
      

       
       class SeenURLFilter(RFPDupeFilter):
      
      

      
      

       
         """A dupe filter that considers the URL"""
      
      

      
      

       
         def __init__(self, path=None):
      
      

      
      

       
           self.urls_seen = set()
      
      

      
      

       
           RFPDupeFilter.__init__(self, path)
      
      

      
      

       
         def request_seen(self, request):
      
      

      
      

       
           if request.url in self.urls_seen:
      
      

      
      

       
             return True
      
      

      
      

       
           else:
      
      

      
      

       
             self.urls_seen.add(request.url)

要在 settings 添加配置。
DUPEFILTER_CLASS =’scraper.custom_filters.SeenURLFilter’

增量爬取

可以看这篇汇总贴

其实如果根据 url 判断的话有很多种方案，如下面这种（比起上面汇总贴的其他方案来说算是复杂的）。

增量抓取。一个针对多个网站的爬虫很难一次性把所有网页爬取下来，并且网页也处于不断更新的状态中，爬取是一个动态的过程，爬虫支持增量的抓取是很必要的。大概的流程就是关闭爬虫时保存duplicate filter的数据，保存当前的request队列，爬虫启动时导入duplicate filter，并且用上次request队列的数据作为start url。这里还涉及scrapy一个称得上bug的问题，一旦抓取队列里url过多，关闭scrapy需要很久，有时候要花费几天的时间。我们hack了scrapy的代码，在接收到关闭命令后，保存duplicate filter数据和当前的request队列和已抓取的url列表，然后调用twisted的reactor.stop()强制退出。当前的request队列可以通过scrapy.core.scheduler的pending_requests成员得到。

然而，如果使所有网站的动态过滤，比如是不是多了一个新回复，在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法，判断某一个页面的更新时机。这个时候只能尝试用网页在进入下一级页面的时候都类似于最后更新时间、最后活动时间的参数进行判断了。

有机会会去尝试。

参考资料
scrapy 文档
向scrapy中的spider传递参数的几种方法
使用scrapy进行大规模抓取
Scrapy笔记（10）- 动态配置爬虫



原文地址：　http://www.shuang0420.com/2016/06/12/%E7%88%AC%E8%99%AB%E6%80%BB%E7%BB%93-%E4%BA%8C-scrapy/

Omni-Space
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python爬虫之路-scrapy爬虫框架课程
01-04
scrapy爬虫框架课程，包含全部课件与代码 课程纲要： 1.scrapy的概念作用和工作流程 2.scrapy的入门使用 3.scrapy构造并发送请求 4.scrapy模拟登陆 5.scrapy管道的使用 ...13.scrapy总结图 14.crawlspider类的使用
使用nodejs爬取和讯网高管增减持数据
weixin_30363817的博客
08-14 201
　　为了抓取和讯网高管增减持的数据,首先得分析一下数据的来源: 　　网址:http://stockdata.stock.hexun.com/ggzjc/history.shtml 　　使用chrome开发者工具,可以发现在切换到第二页时,浏览器向下述地址发起了网络访问请求: 　　http://stockdata.stock.hexun.com/ggzjc/data/ChangeHist...
Python Scrapy 爬虫的思路总结
oqzuser12345678999q的博客
03-04 674
Python Scrapy 是一个比较容易上手的技术，也许看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 一、先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用A...
Scrapy使用随机IP代理插件Scrapy-Proxies
weixin_33912246的博客
10-21 686
使用Scrapy_Proxies随机IP代理插件https://github.com/aivarsk/scrapy-proxies 安装： pip install scrapy_proxies 设置settings.py： # Retry many times since proxies often fa...
python爬虫步骤-只需四个步骤，彻底上手python爬虫！
q6q6q的专栏
10-28 1万+
what is 爬虫？网络爬虫(Web crawler)，就是通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息。这个过程可以自动化程序实现，行为类似一个蜘蛛。蜘蛛在互联网上爬行，一个一个网页就是蜘蛛网。这样蜘蛛可以通过一个网页爬行到另外一个网页。网络爬虫也是获取数据的一个途径。对于大数据行业，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，对于中小微公司，合理利用爬...
php批量爬取上市公司高管持股变动信息
heikai107的博客
12-11 442
php批量爬取上市公司高管持股变动信息 用php的爬虫功能 批量爬取上市公司高管的持股信息，我们只需要知道最近一年的持股变动，还需要知道有几位高管持股有变动，人数越多，才说明这个变动和公司的发展是高度相关的。 上面选取了17个样本 可以看到 中国平安有13位高管 共计增持170万股，恒生电子 和海尔 也是增持！说明了公司的发展前景得到了高管门的认同。而创业惠康 菲利华 禾丰牧业都是次新股 有部分...
结合scrapy和selenium爬推特的爬虫总结
07-22
适合需要一定selenium，想学习结合scrapy爬虫的以及想了解推特一些反爬虫机制的朋友
Python爬虫框架Scrapy常用命令总结
09-20
主要介绍了Python爬虫框架Scrapy常用命令,结合实例形式总结分析了Scrapy框架中常见的全局命令与项目命令功能、使用方法及操作注意事项,需要的朋友可以参考下
scrapy-redis搭建分布式爬虫环境 - 温良Miner - 博客园1
08-03
scrapy-redis搭建分布式爬虫环境 - 温良Miner - 博客园1
scrapy爬虫框架的案例总结
06-22
主要讲解了利用Python语言使用scrapy爬虫框架的一些案例
Scrapy之"并行"爬虫
weixin_34273046的博客
11-29 1180
问题反馈 在使用中有任何问题，可以反馈给我，以下联系方式跟我交流 Author: Leo Wechat: Leo-sunhailin E-mail: [email protected] 开发环境 Win10 x64 Python 3.4.4 Scrapy 1.4.0(目前最新版本,截至2017-11-29) 题目 题目或许应该叫: Multiple Spiders in th...
【Python Scrapy】详细介绍Scrapy的基本结构、组件和工作原理
最新发布
weixin_50409347的博客
05-04 2112
Scrapy是一个功能强大的Python爬虫框架，提供了完备的爬取任务的工具集，同时也允许在需要的时候实现自定义组件，极大地提高了开发和维护的效率。掌握Scrapy并使用其组件进行爬虫开发，对于爬虫开发人员，是一门必不可少的技能。无论是对于爬虫性能的优化，还是对于数据的处理与管理，在Scrapy的丰富组件库中，都有非常成熟和专业的解决方案可以采用。
Scrapy爬虫及案例剖析
架构师小秘圈
12-30 664
来自：ytao由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的...
Scrapy安装及使用
XingLiu's Blog
07-22 4568
本文介绍了常见的网络爬虫工具Scrapy的安装及使用过程，另外介绍了Scrapy运行时常见问题以及相应解决办法，希望能对您的学习带来帮助。
Python爬虫 scrapy框架的学习心得和总结 （一）
YANGTAOxka的博客
02-16 3301
经过了很长时间的学习和总结，我对scrapy框架已经有了熟练的应用和心得，现在就分享给大家，我会将我学习scrapy框架的所遇到的一些问题进行总结，并且将框架的使用和基本知识就行梳理。 1.为什么要学习使用框架？ 我们编写爬虫代码时，往往会调用很多不同的模块，编写各种爬取流程的代码，而且根据不同的项目，编写的代码也不同，这个时候框架就尤为重要。框架就相当于我们制作PPT时的模板，有了模板我们更快的...
基于scrapy框架爬虫学习小结
热门推荐
Silbert Monaphia
06-04 1万+
在之前完全没有接触过爬虫的我，甚至都不知道爬虫是何物，然而在数据挖掘课程第二次大作业中却要我们小组直接用scrapy框架做一个爬取朋友圈的爬虫，一接到作业的我们马上就懵逼了，别说是scrapy了，我们就连什么是爬虫，爬虫原理是什么都一无所知，突然就要爬微信朋友圈，还要两周内，开什么玩笑。但是怎么也得做，就分工着做，折腾了一段时间，总算有点收获和更加清晰的认识，现在有点小进度，就来报告一下进度～
scrapy 的运行结果解读
明而决之
09-21 1524
辛辛苦苦终于把scrapy安装好，并且创建好项目、敲好代码，运行main.py文件，返回结果蒙圈了！这是什么东西，这么长！到底是不是正确的呢？???????? 大家是不是或多或少有这样的疑问呢？ 今天来跟大家分享一下怎么看scrapy项目的返回结果： 1、解读终端返回结果 运行main文件后，终端返回的结果主要分为3部分： 1）检查调用相关的模块 2）爬取数据 3）数据统计 下面直接来看图吧~~ 1.1 检查调用相关的模块 1.2 爬取数据 1...
Scrapy使用详细记录
weixin_33958585的博客
01-23 637
这几天，又用到了scrapy框架写爬虫，感觉忘得差不多了，虽然保存了书签，但有些东西，还是多写写才好啊 首先，官方而经典的的开发手册那是需要的： https://doc.scrapy.org/en/latest/intro/tutorial.html 一、创建项目 命令行cd到合适的目录： scrapy startproject tutorial 就新建了一个tut...
Python爬虫----bs4入门到精通（二）
R71802的博客
05-18 1017
Python爬虫----bs4入门到精通（二） 文章目录Python爬虫----bs4入门到精通（二）一、修改文档树二、使用步骤 提示：以下是本篇文章正文内容，下面案例可供参考 一、修改文档树 修改文档树 ● 修改tag的名称和属性 ● 修改string 属性赋值,就相当于用当前的内容替代了原来的内容 ● append() 像tag中添加内容,就好像Python的列表的 .append() 方法 ● decompose() 修改删除段落，对于一些没有必要的文章段落我们可以给他删除掉 from bs
scrapy爬虫项目实战豆瓣
03-29
豆瓣是一个非常流行的社交网站，它包含了电影、图书、音乐等各种文化娱乐信息。本文将介绍如何使用Scrapy爬虫框架，构建一个豆瓣电影爬虫，爬取豆瓣电影排行榜中的电影信息。 1. 创建Scrapy项目 首先，我们需要创建一个Scrapy项目。在命令行中执行以下命令： ``` scrapy startproject douban ``` 这将创建一个名为douban的Scrapy项目。项目结构如下： ``` douban/ scrapy.cfg douban/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py ``` 其中，scrapy.cfg是Scrapy的配置文件；douban文件夹是我们创建的项目名称，它包含了项目的配置、管道、中间件等设置；spiders文件夹是我们用来编写爬虫代码的地方。 2. 编写爬虫代码 在spiders文件夹中创建一个名为douban_spider.py的文件，编写如下代码： ```python import scrapy from douban.items import DoubanItem class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): item = DoubanItem() movies = response.css('.grid_view .item') for movie in movies: item['rank'] = movie.css('.pic em::text').get() item['title'] = movie.css('.title a::text').get() item['rating'] = movie.css('.rating_num::text').get() item['quote'] = movie.css('.inq::text').get() yield item next_page = response.css('.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 上述代码中，我们定义了一个名为DoubanSpider的爬虫类，继承自Scrapy的Spider类。我们设置了爬虫的名称、待爬取的域名和起始URL。在parse函数中，我们使用CSS选择器提取电影信息，并使用yield关键字将结果返回。同时，我们还提取了下一页的URL，并使用response.follow方法跟进到下一页。 在douban文件夹中创建一个名为items.py的文件，定义数据项： ```python import scrapy class DoubanItem(scrapy.Item): rank = scrapy.Field() title = scrapy.Field() rating = scrapy.Field() quote = scrapy.Field() ``` 3. 配置管道 在douban文件夹中的settings.py文件中，我们需要配置管道，以便将爬取的数据保存到本地文件中。 ```python ITEM_PIPELINES = { 'douban.pipelines.DoubanPipeline': 300, } FEED_FORMAT = 'json' FEED_URI = 'result.json' ``` 上述配置将数据保存为JSON格式，保存路径为result.json文件。 在douban文件夹中创建一个名为pipelines.py的文件，定义管道实现： ```python import json class DoubanPipeline(object): def __init__(self): self.file = open('result.json', 'w', encoding='utf-8') def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + '\n' self.file.write(line) return item def close_spider(self, spider): self.file.close() ``` 上述代码实现了数据的保存功能，将数据保存为JSON格式文件。 4. 运行爬虫 在命令行中，进入douban项目的根目录，执行以下命令即可启动爬虫： ``` scrapy crawl douban ``` 爬虫会自动从豆瓣电影排行榜网页中爬取电影信息，并将结果保存到本地文件中。可以通过修改settings.py文件中的FEED_URI配置来改变保存路径。 5. 结果展示 爬虫执行完毕后，我们可以打开result.json文件查看数据结果。例如，下面是rank为1的电影信息： ```json {"rank": "1", "title": "\u8096\u7533\u514b\u7684\u6551\u8d4e", "rating": "9.7", "quote": "\u4eba\u751f\u82e6\u77ed\uff0c\u4f60\u5fc5\u987b\u559c\u6b22\u5b83\uff0c\u8fd9\u5c31\u662f\u5b83\u7684\u7f8e\u4e3d\u3002"} ``` 我们可以看到，爬虫成功地爬取了电影排行榜中的电影信息，并将结果保存到本地文件中。 6. 总结 本文介绍了如何使用Scrapy爬虫框架，构建一个豆瓣电影爬虫，爬取豆瓣电影排行榜中的电影信息。我们首先创建了一个Scrapy项目，然后编写了爬虫代码，使用CSS选择器提取电影信息，并使用管道将结果保存到本地文件中。最后，我们运行了爬虫，并查看了结果。这个例子展示了Scrapy框架的基本使用方法，希望对初学者有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值