python爬虫框架scrapy

最新推荐文章于 2023-04-17 10:56:27 发布
最新推荐文章于 2023-04-17 10:56:27 发布
阅读量732 收藏 4
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinzhen_boke_0321/article/details/115465120
版权

目录

 

Scrapy 框架

scrapy五大核心组件简介

提升scrapy的爬取效率

增加并发：

降低日志级别：

禁止cookie：

禁止重试：

减少下载超时：

scrapy基本使用

环境安装：

scrapy使用流程：

爬虫文件解析

scrapy的数据持久化存储

基于终端指令的持久化存储

基于管道的持久化存储操作

实例：爬取蔬菜网站的近十天内蔬菜的价格等信息

Scrapy 框架

谈起爬虫必然要提起 Scrapy 框架，因为它能够帮助提升爬虫的效率，从而更好地实现爬虫。

Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。

也许读者会感到迷惑，有这么好的爬虫框架，为什么前面的章节还要学习使用 requests 库请求网页数据。其实，requests 是一个功能十分强大的库，它能够满足大部分网页数据获取的需求。其工作原理是向服务器发送数据请求，至于数据的下载和解析，都需要自己处理，因而灵活性高；而由于 Scrapy 框架的封装，使得其灵活性降低。

scrapy五大核心组件简介

  • scrapy的基本使用我们已经掌握，但是各位心中一定会有些许的疑问，我们在编写scrapy工程的时候，我们只是在定义相关类中的属性或者方法，但是我们并没有手动的对类进行实例化或者手动调用过相关的方法，那么这些操作都是谁做的呢？接下来我们就来看看scrapy的五大核心组件的工作流程，然后大家就会上述的疑问有基本了解了。

  • 引擎(Scrapy)
    • 用来处理整个系统的数据流处理, 触发事务(框架核心)
  • 调度器(Scheduler)
    • 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  • 下载器(Downloader)
    • 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
  • 爬虫(Spiders)

    • 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

  • 项目管道(Pipeline)
    • 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

提升scrapy的爬取效率

  • 增加并发：

    • 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。

  • 降低日志级别：

    • 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’

  • 禁止cookie：

    • 如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False

  • 禁止重试：

    • 对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False

  • 减少下载超时：

    • 如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s

scrapy基本使用

环境安装：

  • linux和mac操作系统：
    • pip install scrapy
  • windows系统：（使用pycharm等ide工具，直接进行pip install scrapy 也可以）
    • pip install wheel
    • 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    • 安装twisted：pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl
    • pip install pywin32
    • pip install scrapy
      测试：在终端里录入scrapy指令，没有报错即表示安装成功！

scrapy使用流程：

此处创建的工程名为vegetable_pro

创建的爬虫文件为vegetable

  • 创建工程：
    • scrapy startproject ProName  （scrapy startproject vegetable_pro）
  • 进入工程目录：
    • cd ProName （cd vegetable_pro）
  • 创建爬虫文件：
    • scrapy genspider spiderName www.xxx.com (scrapy genspider vegetable www.xxx.com)
  • 编写相关操作代码
  • 执行工程：
    • scrapy crawl spiderName （scrapy crawl vegetable ）

爬虫文件解析

import scrapy
from vegetable_pro.items import VegetableProItem



class VegetableSpider(scrapy.Spider):
    name = 'vegetable' # 应用名称
    # allowed_domains = ['www.xxx.com'] # 允许爬取的域名（如果遇到非该域名的url则爬取不到数据）
    # url = 'http://www.jnmarket.net/import/list-1_'

    start_urls = ['http://www.xinfadi.com.cn/marketanalysis/1/list/1.shtml'] #起始爬取的url

    #访问起始URL并获取结果后的回调函数，该函数的response参数就是向起始的url发送请求后，获取的响应对象.该函数返回值必须为可迭代对象或者NUll 
    url = 'http://www.xinfadi.com.cn/marketanalysis/1/list/%d.shtml'
    page_num = 2

    def parse(self, response):
        #xpath为response中的方法，可以将xpath表达式直接作用于该函数中
        li_list = response.xpath('/html/body/div[2]/div[4]/div[1]/table/tr[position()>1]') # 使用xpath进行内容解析
        for li in li_list:
#xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
            name = li.xpath('./td[1]/text()').extract_first()
            low_price = li.xpath('./td[2]/text()').extract_first()
            avg_price = li.xpath('./td[3]/text()').extract_first()
            high_price = li.xpath('td[4]/text()').extract_first()
            size = li.xpath('td[5]/text()').extract_first()
            new_time = li.xpath('td[7]/text()').extract_first()

            item =  VegetableProItem() #将解析到的数据封装至items对象中
            item['name'] = name
            item['low_price'] = low_price
            item['avg_price'] = avg_price
            item['high_price'] = high_price
            item['size'] = size
            item['new_time'] = new_time
            yield  item  # #提交item到管道文件（pipelines.py）

        # 分页爬取，通过控制url参数，来获取多页面的数据
        if self.page_num <= 60:
            new_url = format(self.url % self.page_num)
            self.page_num +=1
            yield scrapy.Request(url=new_url,callback=self.parse)

 

scrapy的数据持久化存储

基于终端指令的持久化存储

  • 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。
import scrapy
class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    allowed_domains = ['https://www.qiushibaike.com/']
    start_urls = ['https://www.qiushibaike.com/']
    def parse(self, response):
        #xpath为response中的方法，可以将xpath表达式直接作用于该函数中
        odiv = response.xpath('//div[@id="content-left"]/div')
        content_list = [] #用于存储解析到的数据
        for div in odiv:
            #xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
            author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
            content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
            #将解析到的内容封装到字典中
            dic={
                '作者':author,
                '内容':content
            }
            #将数据存储到content_list这个列表中
            content_list.append(dic)
        return content_list

执行指令：

  • 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储
    scrapy crawl 爬虫名称 -o xxx.json
    scrapy crawl 爬虫名称 -o xxx.xml
    scrapy crawl 爬虫名称 -o xxx.csv

基于管道的持久化存储操作

  • scrapy框架中已经为我们专门集成好了高效、便捷的持久化操作功能，我们直接使用即可。要想使用scrapy的持久化操作功能，我们首先来认识如下两个文件：
  • items.py：数据结构模板文件。定义数据属性。

  • pipelines.py：管道文件。接收数据（items），进行持久化操作。

  • 持久化流程

    • 爬虫文件爬取到数据后，需要将数据封装到items对象中

    • 使用yield关键字将items对象提交给pipelines管道进行持久化操作。

    • 在管道文件中的process_item方法中接收爬虫文件提交过来的item对象，然后编写持久化存储的代码将item对象中存储的数据进行持久化存储

    • settings.py配置文件中开启管道

配置文件内开启管道：

ITEM_PIPELINES = {
   'picturename.pipelines.PicturenamePipeline': 301,
   'picturename.pipelines.MysqlPipeline': 300,
}

下列结构为字典，字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级
值越小优先级越高

items文件：

import scrapy


class PicturenameItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    picture_desc = scrapy.Field() # 存储信息

存储到文件内：

class PicturenamePipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self,spider):
        print('开始爬虫')
        self.fp = open('./xiaohua.txt','w',encoding='utf-8')

    def process_item(self, item, spider):
        self.fp.write(item['picture_desc'] + '\n' + '\r')
        return  item

    def close_spider(self,spider):
        print('爬虫结束')
        self.fp.close()

存储到数据库：

class MysqlPipeline(object):
    def __init__(self):
        self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='123456@yz', database='spider')
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        self.cursor.execute('insert into xiaohua values("{}")'.format(item["picture_desc"]))
        self.conn.commit()
        return item
    def close_spider(self,spider):
        self.conn.close()
        self.cursor.close()

 

实例：爬取蔬菜网站的近十天内蔬菜的价格等信息

1：生成工程以及生产爬虫文件后的目录结构

2：settings.py文件进行配置

1：user_agent代理
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36 ，'

2：不遵循君子协议
ROBOTSTXT_OBEY = False


3：Scrapy下载器将执行的最大并发（即并发）请求数
CONCURRENT_REQUESTS = 100

4：日志等级
LOG_LEVEL = "ERROR"

5：设置管道
ITEM_PIPELINES = {
   'vegetable_pro.pipelines.VegetableProPipeline': 300,
}

3：爬虫文件的编写

import scrapy
from vegetable_pro.items import VegetableProItem



class VegetableSpider(scrapy.Spider):
    name = 'vegetable' # 应用名称
    # allowed_domains = ['www.xxx.com'] # 允许爬取的域名（如果遇到非该域名的url则爬取不到数据）
    # url = 'http://www.jnmarket.net/import/list-1_'

    start_urls = ['http://www.xinfadi.com.cn/marketanalysis/1/list/1.shtml'] #起始爬取的url

    #访问起始URL并获取结果后的回调函数，该函数的response参数就是向起始的url发送请求后，获取的响应对象.该函数返回值必须为可迭代对象或者NUll 
    url = 'http://www.xinfadi.com.cn/marketanalysis/1/list/%d.shtml'
    page_num = 2

    def parse(self, response):
        #xpath为response中的方法，可以将xpath表达式直接作用于该函数中
        li_list = response.xpath('/html/body/div[2]/div[4]/div[1]/table/tr[position()>1]') # 使用xpath进行内容解析
        for li in li_list:
#xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
            name = li.xpath('./td[1]/text()').extract_first()
            low_price = li.xpath('./td[2]/text()').extract_first()
            avg_price = li.xpath('./td[3]/text()').extract_first()
            high_price = li.xpath('td[4]/text()').extract_first()
            size = li.xpath('td[5]/text()').extract_first()
            new_time = li.xpath('td[7]/text()').extract_first()

            item =  VegetableProItem() #将解析到的数据封装至items对象中
            item['name'] = name
            item['low_price'] = low_price
            item['avg_price'] = avg_price
            item['high_price'] = high_price
            item['size'] = size
            item['new_time'] = new_time
            yield  item  # #提交item到管道文件（pipelines.py）

        # 分页爬取，通过控制url参数，来获取多页面的数据
        if self.page_num <= 60:
            new_url = format(self.url % self.page_num)
            self.page_num +=1
            yield scrapy.Request(url=new_url,callback=self.parse)

4：创建数据库，获取的数据保存到数据库内

5：items文件的编写

import scrapy


class VegetableProItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 存储爬取信息
    name = scrapy.Field()
    low_price = scrapy.Field()
    avg_price = scrapy.Field()
    high_price = scrapy.Field()
    size = scrapy.Field()
    new_time = scrapy.Field()

6：pipelines.py文件的编写

from itemadapter import ItemAdapter
import pymysql


class VegetableProPipeline(object):
    def __init__(self):
        print('开始')
        # 连接数据库
        self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='123456@yz',
                                    database='graduation_project')
        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):
        # 编写sql语句，将数据存到mysql数据库
        insert_sql = """
            insert into weather_vegetable(name,low_price,avg_price,high_price,szie,new_time) values(%s,%s,%s,%s,%s,%s)
        """

        self.cursor.execute(insert_sql, (item["name"],item["low_price"],item["avg_price"],item["high_price"],item["size"],item["new_time"]))
        self.conn.commit()
        return item

    def close_spider(self,spider):
        self.conn.close()
        self.cursor.close()
        print('结束')

7：执行程序

scrapy crawl vegetable

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Never ever meet
关注
专栏目录
第十一章 Scrapy入门：多线程+异步
weixin_47388144的博客
06-08 6164
简介 Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。 用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。 (提高请求效率) Scrapy 使用了Twisted(aiohttp)异步网络框架来处理网络通讯，可以加快下载速度，并且包含了各种中间件接口，可以灵活的完成各种需求。 安装 pip install --upgrade pip 建议首先更新pip 再安装下列依赖库 否则可能会遇到诸多错误： pip in.
scrapy知识点
weixin_41629197的博客
05-08 353
1.持久化存储 - 编码流程： 1.数据解析 2.封装item类 3.将解析的数据存储到实例化好的item对象 4.提交item 5.管道接收item然后对item进行io操作 6.开启管道 - 注意事项： ...
scrapy item.py
Claroja
10-09 163
参考： https://my.oschina.net/lionets/blog/194577
十三、scrapy的Item.py
Norni的博客
05-22 190
在items.py文件中，scrapy.Item是一个BaseItem，为parse函数中能够yield的对象之一。 ``` 　　class MyspiderItem(scrapy.Item):　　# scrapy.Item是一个字典 　　　　name = scrapy.Field()　　# scrapy.Field()是一个字典 　　　　pass　　 ``` 通过scrapy.Field()来...
scrapy框架学习
weixin_30698297的博客
03-01 175
- 一 什么是scrapy? 　　 -Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。 　　- 安装 　　　　 - linux: pip3 install scrapy 　　 　　- windows: 　　　　　　 - 1) p...
【Python_Scrapy学习笔记（四）】Scrapy框架之数据封装文件items.py详解
禾戊之昂的博客
04-17 380
items.py 文件是 Scrapy框架下，用来进行数据封装的文件，可以自定义爬取的字段，本文中介绍 items.py 文件的基本使用方法。
Python爬虫框架Scrapy教程 完整版PDF
04-06
《Python爬虫框架Scrapy教程》主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，本文档详细介绍了scrapy爬虫和其他爬虫技术的...
精通Python爬虫框架Scrapy.pdf
12-20
精通Python爬虫框架Scrapy.pdf
learning_scrapy:精通python爬虫框架scrapy
03-23
精通python爬虫框架scrapy源码修改原始码可编辑python3版本 本书涵盖了期待已久的Scrapy v 1.0，它使您能够以极少的努力从几乎任何来源中提取有用的数据。 首先说明Scrapy框架的基础知识，然后详细说明如何从任何...
Python爬虫框架Scrapy教程《PDF文档》
最新发布
10-02
Python爬虫框架Scrapy教程《PDF文档》 Scrapy，Python开发的一个快速,高层次的web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。任何人都可以根据...
Python爬虫框架Scrapy教程（PDF文档）
10-02
Python爬虫框架Scrapy教程（PDF文档） Scrapy，Python开发的一个快速,高层次的web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。任何人都可以根据...
python scrapy框架基如何实现多线程_Python实现在线程里运行scrapy的方法
weixin_39928461的博客
11-21 292
本文实例讲述了Python实现在线程里运行scrapy的方法。分享给大家供大家参考。具体如下：如果你希望在一个写好的程序里调用scrapy，就可以通过下面的代码，让scrapy运行在一个线程里。"""Code to run Scrapy crawler in a thread - works on Scrapy 0.8"""import threading, Queuefrom twisted.i...
线程中运行scrapy方法
热门推荐
qq_29349715的博客
03-29 2万+
代码如下：import threading, Queue from twisted.internet import reactor from scrapy.xlib.pydispatch import dispatcher from scrapy.core.manager import scrapymanager from scrapy.core.engine import scrap...
python scrapy框架基如何实现多线程_python scrapy框架是异步还是多线程?
weixin_39732991的博客
11-21 291
小伙伴们很喜欢给小编出各种难题，比如今天关于框架，有小伙伴在浏览时，看到别人咨询异步还有多线程，因为自己也不是很理解，于是把问题转发给小编看，小编仔细看了下，虽然跟我们现在课程学习并没有什么相互关联的内容，但是既然这么感兴趣，以及为了解决小伙伴疑惑，决定为大家讲解下。什么是异步：工作涉及一次执行多个IO操作。什么是多线程：多线程：允许单个任务分成不同的部分运行相互之间是有一定的相似之处的，那我们接...
python scrapy框架基如何实现多线程_Python多线程爬图&Scrapy框架爬图
weixin_39630762的博客
11-21 313
【小宅按】对于日常Python爬虫由于效率问题，本次测试使用多线程和Scrapy框架来实现抓取斗图啦表情。由于IO操作不使用CPU，对于IO密集（磁盘IO/网络IO/人机交互IO）型适合用多线程，对于计算密集型：建议用多进程。进程：优点：充分利用多核CPU（能够同时进行多个操作）缺点：系统资源消耗大，重新开辟内存空间线程：优点：共享内存，IO操作可以创造出并发操作缺点：抢占资源，请求上下文切换消耗...
scrapyd操作笔记
weixin_34146986的博客
01-08 134
爬虫线程 pip install scrapyd 安装依赖（自动生成egg文件） pip install scrapyd-client pip install apscheduler pip install requests 查看所有爬虫 curl http://localhost:6800/listspiders.json?project=VehicleOrderScrapy 查看爬虫状态 cu...
Python之Scrapy框架（笔记一）
weixin_44597565的博客
08-02 542
什么是框架： 通用性性强的项目半成品 什么是scrapy？ Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片 环境安装： -mac or linux ：pip install scrapy -window系统： pip install wheel 下...
scrapy效率提升篇
weixin_33744854的博客
12-28 638
scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时IO操作时会释放GIL）所以简单的说，scrapy是多...
爬虫之Scrapy框架
seanyang_的博客
09-25 618
要想把结果保存起来，需要先定义要抓取的数据在item.py中写入如下代码，这个类就是要存储的数据的结果。一个Scrapy工程可以有多个爬虫；再看items.py文件，可以发现，在一个items.py里面可以对不同的爬虫定义不同的抓取内容Item。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值