逆向爬虫16 Scrapy持久化存储

已于 2022-02-02 12:00:45 修改
阅读量1.5k 收藏 1
点赞数 1
分类专栏： 爬虫学习 文章标签： 爬虫 mongodb python
于 2022-02-02 11:56:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40743639/article/details/122768600
版权

逆向爬虫16 Scrapy持久化存储

在Scrapy中，数据可以持久化存储到4个地方：① CSV文件，② MySQL数据库，③ MongoDB数据库，④ 文件存储 (图片等二进制文件)

本节通过两个实战案例来说明Scrapy是如何进行数据持久化存储的。

说明： 我认为在初学框架的时候，最重要的就是弄清楚框架代码的运行顺序，而框架将不同功能的代码拆分成不同模块，写到不同的函数和文件中，只用文字不方便说明，因此本节使用截图+手动标记顺序的方式来说明代码的运行顺序。

案例一：双色球

目标：

  1. 说明items.py文件的作用，用于规范要爬取数据的字段名称
  2. 实现① CSV文件，② MySQL数据库，③ MongoDB数据库持久化数据存储

文件目录结构：

在这里插入图片描述

shuangseqiu.py文件

在这里插入图片描述

items.py文件

在这里插入图片描述

piplines.py文件（保存CSV部分）

在这里插入图片描述

piplines.py文件（保存MySQL部分）

在这里插入图片描述

piplines.py文件（保存MongoDB部分）

在这里插入图片描述

settings.py文件

在这里插入图片描述

shuangseqiu.py源码：

import scrapy
from caipiao.items import CaipiaoItem   # 先导包

class ShuangseqiuSpider(scrapy.Spider):
    name = 'shuangseqiu'
    allowed_domains = ['500.com']   # 限制域名范围
    start_urls = ['http://datachart.500.com/ssq/']  # 起始url

    def parse(self, resp, **kwargs):
        trs = resp.xpath('//*[@id="tdata"]/tr')
        # result = []   # 别这么干，很傻
        for tr in trs:
            if tr.xpath('./@class').extract_first() == 'tdbck':     # 过滤掉空行
                continue
            # red_ball = tr.xpath('./td[@class="chartBall01"]/text()').extract()
            # blue_ball = tr.xpath('./td[@class="chartBall02"]/text()').extract_first()
            qihao = tr.xpath('./td[1]/text()').extract_first().strip()
            red_ball = '_'.join(tr.css(".chartBall01::text").extract())
            blue_ball = tr.css(".chartBall02::text").extract_first()
            # print(qihao, red_ball, blue_ball)     # 打印下看看

            cai = CaipiaoItem()     # cai = dict()
            cai['qihao'] = qihao
            cai['red_ball'] = red_ball
            cai['blue_ball'] = blue_ball
            yield cai   # 聪明人都这么干

        #     dic = {
        #         'qihao': qihao,
        #         'red_ball': red_ball,
        #         'blue_ball': blue_ball
        #     }
        #     result.append(dic)
        # return result   # 别这么干，很傻
        # yield result    # 别这么干，很傻

items.py源码：

import scrapy

class CaipiaoItem(scrapy.Item):
    # define the fields for your item here like:
    qihao = scrapy.Field()      # 想当于字典的Key
    red_ball = scrapy.Field()
    blue_ball = scrapy.Field()

pipelines.py源码：

from itemadapter import ItemAdapter
import pymysql
from caipiao.settings import MYSQL
import pymongo

"""
存储数据的方案:
    1. 数据要存储在csv文件中
    2. 数据存储在mysql数据库中
    3. 数据存储在mongodb数据库中
    4. 文件存储
"""

class CaipiaoPipeline:
    """
        我们希望的是，在爬虫开始的时候，打开这个文件
        在执行过程中，不断地往里存储数据
        在执行完毕时，关掉这个文件
    """

    def open_spider(self, spider):
        self.f = open("./双色球.csv", mode="a", encoding="utf-8")

    def close_spider(self, spider):
        if self.f:
            self.f.close()

    def process_item(self, item, spider):
        self.f.write(f"{item['qihao']},{item['red_ball']},{item['blue_ball']}\n")
        return item


class CaipiaoMySQLPipeline:

    def open_spider(self, spider):
        self.conn = pymysql.connect(
            host=MYSQL['host'],
            port=MYSQL['port'],
            user=MYSQL['user'],
            password=MYSQL['password'],
            database=MYSQL['database']
        )

    def close_spider(self, spider):
        if self.conn:
            self.conn.close()

    def process_item(self, item, spider):
        try:
            cursor = self.conn.cursor()
            sql = "insert into caipiao (qihao, red_ball, blue_ball) values (%s, %s, %s)"
            cursor.execute(sql, (item['qihao'], item['red_ball'], item['blue_ball']))
            self.conn.commit()
        except:
            self.conn.rollback()
        finally:
            if cursor:
                cursor.close()
        return item

class CaipiaoMongoDBPipeline:

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(host='localhost', port=27017)
        db = self.client['haha']    # use database
        self.collection = db['caipiao']     # 指定彩票集合

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.collection.insert({"qihao": item['qihao'], "red_ball": item['red_ball'], "blue_ball": item['blue_ball']})
        return item

settings.py源码：

BOT_NAME = 'caipiao'

SPIDER_MODULES = ['caipiao.spiders']
NEWSPIDER_MODULE = 'caipiao.spiders'

LOG_LEVEL = "WARNING"

# 配置MySQL
MYSQL = {
    'host':'localhost',
    'port':3306,
    'user':'root',
    'password':'xxxxxx',
    'database':'spider'
}

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'caipiao.pipelines.CaipiaoPipeline': 300,
   'caipiao.pipelines.CaipiaoMySQLPipeline': 301,
   'caipiao.pipelines.CaipiaoMongoDBPipeline': 302
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

案例二：图片之家

目标：

  1. 说明从起始URL中获取详情URL列表，依次进入详情URL中抓取数据的过程
  2. 实现② MySQL数据库 ④ 文件存储 (图片等二进制文件)

文件目录结构：

​ 和双色球案例一样

meinv.py文件（解析起始页面部分）

在这里插入图片描述

meinv.py文件（解析详情页面部分）

在这里插入图片描述

items.py文件

在这里插入图片描述

pipelines.py文件（图片下载功能）

在这里插入图片描述

piplines.py文件（结果保存到MySQL功能）

在这里插入图片描述

settings.py文件

在这里插入图片描述

meinv.py源码

import scrapy
# from urllib.parse import urljoin
from tupianzhijia.items import MeinvItem

class MeinvSpider(scrapy.Spider):
    name = 'meinv'
    allowed_domains = ['tupianzj.com']
    start_urls = ['http://tupianzj.com/bizhi/DNmeinv/']

    def parse(self, resp, **kwargs):
        # print(resp.text)    # 看看源码中是否包含要的内容
        li_list = resp.xpath("//ul[@class='list_con_box_ul']/li")
        for li in li_list:
            href = li.xpath("./a/@href").extract_first()
            # print(href)     # 打印下看看

            # 理论上应该开始进行一个网络请求了
            # 根据Scrapy的运行原理，此处应该对href进行处理，处理成一个请求，交给引擎
            # print(resp.urljoin(href))     # 打印下看看
            yield scrapy.Request(
                url=resp.urljoin(href),  # 吧resp中的url和刚刚获取的url进行拼接整合
                method='get',
                callback=self.parse_detial  # 回调函数，当响应回馈之后，如何进行处理响应内容
            )
        # 可以考虑下一页的问题
        # 如果这里可以下一页，那么数据的解析，直接就是当前的这个parse
        next_href = resp.xpath('//div[@class="pages"]/ul/li/a[contains(text(), "下一页")]/@href').extract_first()
        yield scrapy.Request(
            url=resp.urljoin(next_href),  # 吧resp中的url和刚刚获取的url进行拼接整合
            method='get',
            callback=self.parse  # 回调函数，当响应回馈之后，如何进行处理响应内容
        )

    def parse_detial(self, resp, **kwargs):
        # print(resp.text)    # 看看源码中是否包含要的内容
        name = resp.xpath('//*[@id="container"]/div/div/div[2]/h1/text()').extract_first()
        img_src = resp.xpath("//div[@id='bigpic']/a/img/@src").extract_first()
        # print(name, img_src)    # 打印下看看

        Meinv = MeinvItem()
        Meinv['name'] = name
        Meinv['img_src'] = img_src
        yield Meinv

items.py源码

import scrapy

class MeinvItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    img_src = scrapy.Field()
    local_path = scrapy.Field()

pipelines.py源码

from itemadapter import ItemAdapter
from scrapy.pipelines.images import ImagesPipeline
import scrapy
import pymysql
from tupianzhijia.settings import MYSQL

class TupianzhijiaPipeline:
    def open_spider(self, spider):
        self.conn = pymysql.connect(
            host=MYSQL['host'],
            port=MYSQL['port'],
            user=MYSQL['user'],
            password=MYSQL['password'],
            database=MYSQL['database']
        )

    def close_spider(self, spider):
        if self.conn:
            self.conn.close()

    def process_item(self, item, spider):
        try:
            cursor = self.conn.cursor()
            sql = "insert into tu (name, img_src, local_path) values (%s, %s, %s)"
            cursor.execute(sql, (item['name'], item['img_src'], item['local_path']))
            self.conn.commit()
        except:
            self.conn.rollback()
        finally:
            if cursor:
                cursor.close()
        return item

# 想要使用ImagesPipeline必须单独设置一个配置，用来保存文件的文件夹
class MeinvSavePipeline(ImagesPipeline):    # 利用图片管道帮我们完成数据下载操作
    """ 重写父类三个功能 """
    def get_media_requests(self, item, info):   # 负责下载
        yield scrapy.Request(item['img_src'])  # 直接返回一个请求即可

    def file_path(self, request, response=None, info=None, *, item=None):   # 准备文件路径
        file_name = request.url.split("/")[-1]  # request.url可以直接获取到刚刚请求的url
        return f"img/{file_name}"

    def item_completed(self, results, item, info):  # 返回文件的详细信息
        ok, finfo = results[0]
        # finfo["path"]
        # print(results)
        item['local_path'] = finfo['path']
        return item

settings.py源码

BOT_NAME = 'tupianzhijia'

SPIDER_MODULES = ['tupianzhijia.spiders']
NEWSPIDER_MODULE = 'tupianzhijia.spiders'

LOG_LEVEL = "WARNING"

# 配置MySQL
MYSQL = {
    'host':'localhost',
    'port':3306,
    'user':'root',
    'password':'xxxxxxxx',
    'database':'spider'
}
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'tupianzhijia.pipelines.TupianzhijiaPipeline': 300,
   'tupianzhijia.pipelines.MeinvSavePipeline': 299
}
IMAGES_STORE = './meinvtupian'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

小结：

本节需要弄明白重点：

  1. 两个案例的代码运行顺序
  2. 每一种数据持久化存储的方法
一个小黑酱
关注
专栏目录
【爬虫系统设计系列】好的爬虫系统一定要这样去设计告警功能
吴秋霖的博客
11-17 6052
一个优秀的爬虫采集系统，它的告警功能一定会这样去考虑与设计
python爬虫面试真题及答案_Python面试题爬虫篇(附答案)
weixin_29480659的博客
12-30 3978
0|1第一部分 必答题注意：第31题1分，其他题均每题3分。1，了解哪些基于爬虫相关的模块？- 网络请求：urllib，requests，aiohttp- 数据解析：re，xpath，bs4，pyquery- selenium- js逆向：pyexcJs2，常见的数据解析方式？- re、lxml、bs43，列举在爬虫过程中遇到的哪些比较难的反爬机制？- 动态加载的数据- 动态变化的请求参数- js...
scrapy框架开发爬虫实战——如何将爬取的信息存入MongoDB
万锦
10-11 438
Windows10 MongoDB安装配置 第一步：下载MongoDB数据库 ，https://www.mongodb.com/download-center/community 第二步：安装MongoDB 等待安装完成。 第三步：启动MonggoDB 打开任务管理器，将MongoDB服务启动。 第四步：验证Mongo是否启动成功 打开命令行，输入Mon...
scrapy持久化存储
weixin_44457673的博客
06-11 591
1、基于终端命令存储 1、基于终端的持久化存储：只可以将parse方法里的返回值存储到本地文件中。 2、持久化存储的文件类型只可为：json、jsonlines、jl、csv、xml 3、操作： scrapy crawl xxx -o filePath 4、优缺点：局限性强，只能存储上述的文件类型，但方便简洁。 2、基于管道存储 1、定义属性 在item类中定义相关属性， 2、封装对象 讲解析到的数据封装存储到item类型的对象中 3、提交item对象 将item类型的对象提交给管道进行持久化存储 上图
python爬虫-scrapy的数据持久化存储
m0_46500590的博客
02-16 405
文章目录一、基于终端指令的持久化存储二、基于管道的持久化存储 一、基于终端指令的持久化存储 目的：爬取百度网页中百度热榜中的序号和标题，并通过终端指令，将爬取到的数据进行持久化存储(将爬取到的数据保存到本地) 使用：在终端输入指令，将爬取到的数据保存到不同格式的文件中 scrapy crawl 爬虫文件名称 -o 文件名.json scrapy crawl 爬虫文件名称 -o 文件名.xml scrapy crawl 爬虫文件名称 -o 文件名.csv 输入指令 输出结果：生成一个csv文件，并将
爬虫之scrapy框架的数据持久化存储/保存为scv,json文件
奋斗的小鸟
10-25 1078
文章目录前情回顾selenium+phantomjs/chrome/firefoxexecjs模块使用今日笔记scrapy框架小试牛刀猫眼电影案例知识点汇总数据持久化存储(MySQL)实现步骤保存为csv、json文件盗墓笔记小说抓取案例（三级页面）今日任务 前情回顾 selenium+phantomjs/chrome/firefox 设置无界面模式（chromedriver | firefox...
爬虫实战之Scrapy框架爬取新片场网站信息.zip
10-23
在`settings.py`中，我们配置了Pipeline，比如`NewScenePipeline`，它可能会将爬取到的信息插入到SQLite数据库（如`db.sql`所示）或其他持久化存储中。 6. **Downloader Middleware** 下载中间件允许我们在请求被...
Scrapy框架详解1，爬虫0基础入门看懂无压力(有问题可私信)
m0_68102573的博客
03-28 194
想要快速弄懂Scrapy框架？看这一篇就够了，少走弯路。
爬虫工程师的进阶一览图（爬虫工程师水平对照表）根据崔庆才崔大神的文章总结的
Pythoner的博客
02-28 7956
根据崔大神的文章总结的爬虫水平对照表 一、初级水平 Python 【语言基础】 requests 【请求相关】 lxml【解析相关】 XPath 【解析相关】 BeautifulSoup【解析相关】 PyQuery 【解析相关】 MySQL 【数据库】 MongoDB【数据库】 Elasticsearch【我没用过这个，不清楚用到他什么特性】 Kafka【消息队列相关...
Shuangseqiu.rar_shuangseqiu_双色球_双色球 matlab_复杂网络_抽奖
09-23
一个模拟双色球红色篮球的抽奖程序，以及部分matlab复杂网络模拟程序
python3使用scrapy生成csv文件代码示例
12-23
去腾讯招聘网的信息，这个小项目有人做过，本着一个新手学习的目的，所以自己也来做着玩玩，大家可以参考一下。 这里使用的是调用cmdline命令来生成csv文件，而不是importcsv模块。 from scrapy import cmdline cmdline.execute("scrapy crawl field -o info.csv -t csv".split()) 这段代码我保存在一个自建的.py文件中，然后在主文件中调用这个模块，这样就不用每次在cmd中敲命令了，大家可以使用这种方法我觉得很方便的。 进入正题（获取腾讯招聘网的信息http://hr.tencent.com/posi
使用python的scrapy模块爬取文本保存到txt文件
12-23
使用python的scrapy爬取文本保存为txt文件 编码工具 Visual Studio Code 实现步骤 1.创建scrapyTest项目 在vscode中新建终端并依次输入下列代码： scrapy startproject scrapyTest cd scrapyTest code 打开项目scrapyTest（vscode自动生成下列文件） 2.源代码 pipelines.py class ScrapytestPipeline(object): def open_spider(self,spider): #创建my.txt文件，并将字符集设为utf
scrapy保存数据到文本
风华浪浪的博客
07-02 2889
scrapy保存数据到文本 可以是txt，json，csv 第一种：方法 import json class MyspiderPipeline(object): # 在实例化的时候与处理一些事情 def open_spider(self, spider): self.file = open('fenghua.json', 'w') def proce...
scrapy的数据持久化存储
jcodery的博客
03-18 241
方法一、基于终端命令 parse方法中存在一个返回值，一般是字典或者列表，将该返回值存储到本地文件中，只需要执行指令：scrapy crawl xxx -o filePath 该方法简洁高效，但是数据只能存储到指定类型的文件中，局限性叫强 Set a supported one (('json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pickle')) after a colon at the end of the output URI (i.e. -
Scrapy——数据持久化存储
u012052168的博客
02-06 647
本文首发于我的博客：gongyanli.com 我的简书：https://www.jianshu.com/p/2542219f6ee0 前言：本文主要讲解Scrapy的数据持久化，主要包括存储到数据库、json文件以及内置数据存储 持久化存储——JSON pipelins.py `import json from scrapy.exceptions import Drop
python 数据持久化_【Python爬虫】：Scrapy数据持久化
weixin_35242523的博客
03-01 436
【Python爬虫】：Scrapy数据持久化要想将我们爬取到的文件的数据进行持久化操作，那么在Scrapy下有两种方式，1.基于终端指令的数据持久化要求：只能将parse方法的返回值储存到文本文件当中注意：持久化文本文件的类型只能够为csv,json.xml等，不能够为txt,excel指令使用：scrapy crawl xxx(爬虫文件名) -o xxx.csv(保存的文件名)好处：十分简洁且高...
Python爬虫从入门到精通:（28）scrapy数据持久化存储（基于终端指令）_Python涛哥
tao5090694的博客
10-11 432
scrapy数据持久化存储（基于终端指令）： 上节我们爬取到了内容，那么我们怎么做持久化存储呢？ 直接在parse方法中进行 with open() as f ? 如果是这样的话，那我们就没必要使用框架了。 scrapy框架中，我们封装好了持久化存储 import scrapy class DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xxx.com'] start_urls = ['h
通过抓包获取疫情json数据，并使用Scrapy获取数据存储为csv格式，最后用Pandas进行数据处理生成图表
最新发布
kai_mi666的博客
05-24 1471
通过抓包获取疫情数据json网址，使用Scrapy获取数据存储为csv格式，并用Pandas进行数据处理，matplotlib生成图表。
Python爬虫框架Scrapy详解
4. **Items**：定义了要抓取的数据结构，类似于Python字典，可以方便地映射到数据库或其他持久化存储。 5. **Item Loaders**：用于填充Items，它们结合选择器，将从网页中提取的数据放入Items中。 6. **Scrapy ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值