介绍数据库中的wal技术_探究WAL日志的Logical级别

最新推荐文章于 2023-08-05 10:37:07 发布
最新推荐文章于 2023-08-05 10:37:07 发布
阅读量449 收藏 1
点赞数 1
文章标签： 介绍数据库中的wal技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42563415/article/details/112178393
版权

487762b5b408b499a894439f274e9441.png

在使用PostgreSQL的逻辑复制时，需要将wal级别设置为logical，所以logical级别的wal日志一定时比replicate的wal日志多了一些数据来支持逻辑复制功能。我想很多用户或者DBA不清楚logical和replicate级别有何不同之处，这篇博客记录了logical级别相对于replicate级别多写入的wal数据，读者可以据此评估或分析改为logical级别后对wal日志膨胀的影响。

1. 逻辑复制的原理—Logical的使命

在这篇博客里详细介绍了逻辑复制的原理，这里再简单阐述一下，逻辑复制就是读取DML语句产生的wal日志，并将其解析为tuple的形式并发送到订阅端，订阅端接受到tuple之后将tuple做相应的更新处理。

比如说解析一条UPDATE语句产生的wal记录，会产生一个tuple-old和一个tuple-new,订阅端在目标表中查找与tuple-old相同的行，并把它更新为tuple-new。当然对于insert来说只有tuple-new，对于DELETE来说只有tuple-old.

所以逻辑复制的关键就是能不能从wal中解析出tuple-old和tuple-new，这也是logical级别的使命。

2. 不同Wal级别记录DML语句的方式

2.1 tuple-new的记录

FPI相关

INSERT，UPDATE或COPY语句会在数据页上插入新行。这个新行的数据一般会直接记录在这个语

最低0.47元/天 解锁文章
程铭夜
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql的WAL技术是什么_什么是WAL？
weixin_30311521的博客
01-19 3340
在写完上一篇《Pull or Push》之后，原本计划这一片写《存储层设计》，但是临时改变主意了，想先写一篇介绍一下消息中间件最最基础也是最核心的部分：write-ahead logging(WAL)。什么是WAL"In computer science, write-ahead logging (WAL) is a family of techniques for providing atomi...
postgres 日志级别要设置成 wal_level = logical 的影响？ & 物理复制和逻辑复制
喝醉酒的小白
04-03 3628
主库将修改后的数据写入二进制日志文件（WAL 日志），从库通过流式复制（streaming replication）将主库的 WAL 日志拷贝到本地，并将日志中的操作应用到自己的数据库中，从而实现数据的实时同步。与传统的流复制（streaming replication）相比，逻辑复制可以更加灵活地选择需要复制的表和列，也可以过滤掉不需要复制的数据。但是，如果您对数据同步的延迟和稳定性有较高的要求，那么传统的流复制可能更适合您的需求。首先，逻辑复制需要更多的 CPU 和内存资源，因为它需要解析和转换数据。
什么是 WAL 技术？它有什么特点？
qq_52896055的博客
08-05 420
WAL技术的核心思想是在对数据库进行任何修改之前，先将相应的日志记录写入到持久化的日志文件中。先写日志，再写数据：在WAL技术中，对数据库的修改操作首先被写入到日志文件中，然后再将修改后的数据写入到磁盘。通过读取日志文件中的日志记录，可以将这些操作应用到数据库中，从而恢复到崩溃前的一致性状态。顺序写入的特性使得WAL技术在性能上具有优势，因为磁盘的顺序写入速度通常比随机写入速度更快。需要注意的是，WAL技术是一种通用的数据库事务日志技术，在不同的数据库管理系统中可能会有一些细微的差异。
RHCSA之路
qq_39744805的博客
02-14 582
第四天作业 1> 在当前目录及子目录中，查找大写字母开头的txt文件 [root@localhost ~]# touch A.txt [root@localhost ~]# touch B.txt [root@localhost ~]# find . -name "[A-Z]*" -a -name "*.txt" ./A.txt ./B.txt 2> 在/etc及其子目录中，查找host开头的文件 [root@localhost ~]# find /etc -name "host*
WAL的概念与实践分析
KaiwuDB 数据库
03-14 3757
Part 1 - 预写式日志 在计算机科学中，预写式日志[1]（Write-Ahead logging，缩写WAL）是关系数据库系统中用于提供原子性和持久性（事务ACID属性中的A与D）的一系列技术。在使用WAL的系统中，所有的修改在生效之前都要先写入log文件中。log文件中通常包括redo和undo信息。假设一个程序在执行某些操作的过程中机器掉电了。在重新启动时，程序可能需要知道当时执行的操作是成功了还是部分成功或者是失败了。如果使用了WAL，程序就可以检查log文件，并对突然掉电时计划执行的操作内.
java基于WAL日志订阅获取postgresql实时变更数据代码示例
11-27
在本示例中，我们将探讨如何使用Java来订阅和解析 PostgreSQL 的WAL日志，从而实现数据库的实时变更数据获取。这个过程与阿里巴巴的Canal工具有类似之处，都是为了实现数据库的数据同步和变更通知。 首先，理解WAL...
wal-listener：PostgreSQL WAL侦听器
02-05
为了在PostgreSQL数据库中接收有关数据更改的事件，我们使用标准的逻辑解码模块（ pgoutput ）该模块将从WAL读取的更改转换为逻辑复制协议。 而且我们已经消耗了所有这些信息。 然后，我们仅过滤出所需的事件并将其...
在Centos7上搭建 PostgreSQL数据库主从复制
11-09
在主库上，我们需要配置信息允许从数据库连接主数据库，并拖 wal 日志数据。我们可以编辑 pg_hba.conf 文件和 postgresql.conf 文件来实现。 ``` /var/lib/pgsql/11/data/pg_hba.conf /var/lib/pgsql/11/data/...
Logical Replication
07-03
大多数人都知道Streaming Replication已经成为PostgreSQL的一部分，并且通常用于高可用性和读写分离，流复制是基于WAL日志的物理复制，适用于整个数据库实例的复制，并且备库是只读的。 Logical Replication属于...
PostgreSQL数据库复制与CDC实施方案.pdf
09-30
1. **数据库参数设置**：首先需要在主库的`postgresql.conf`配置文件中开启归档模式（`archive_mode = on`）和设置wal日志级别为`replica`或`logical`（`wal_level = replica`），然后重启PostgreSQL服务。...
PHP与JSON的一些常用操作
HelloWorld
09-30 1957
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
mysql的WAL技术是什么_我们常听到的WAL到底是什么
weixin_33735910的博客
01-28 989
什么是 WALWAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。在计算机科学中，预写式日志(Write-ahead logging，缩写 WAL)是关系数据库系统中用于提供原子性和持久性(ACID 属性中的两个)的一系列技术。在使用 WAL 的系统中，所有的修改在提交之前都要先写入 log 文件中。log 文件中通常包括 redo 和...
【存储】什么是 WAL|数据库性能
bandaoyu的note
01-08 3447
什么是 WAL WAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。 「预写式日志」（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。在使用 WAL 的系统中，所有的修改在提交之前都要先写入 log 文件中。 log 文件中通常包括 redo 和 undo 信息。这样做的目的可以通过一个例子来说明。假设一个程序在执行某些操作的过程中机器掉电了。在.
介绍数据库中的wal技术_谁在疯狂消耗WAL
weixin_39879665的博客
12-23 430
最近有些人在问，为什么数据库的wal消耗如此之快。在德哥的博客中给出了一些导致wal日志膨胀的原因，但是我们在拿到这些原因之后只能去修改相关的参数然后去测试，没有办法了解导致wal日志膨胀的真正原因。这个博客给出一个简单的方法来解析wal日志到底消耗在了什么地方，你可以从中获取wal膨胀的原因。注：关于'wal膨胀'可以有两种理解：1.在一段时间内消耗了太多的LSN；2.$DATA/pg_wal目...
MySQL 基础技术（三）—— MySQL 如何保证数据不丢失？
q66562636的博客
04-12 1197
一、引子 上篇：《MySQL 是如何更新的？》中，我们介绍了MySQL的两个重要的日志：binlog 和 redo log。 其中，binlog 对应 MySQL 在 Server 层的逻辑日志。redo log 对应 MySQL 在 InndoDB 引擎下的 Engine 层物理日志。 为了保证数据的一致性， MySQL 用一个事务将两个日志的写逻辑的一致性。（即“两阶段提交”） MySQL 的两阶段提交 + WAL技术（Write-Ahead Logging，先写日志再写盘），这两个结
MYSQL系列之 change buffer 和 redo log
Kindle_code的专栏
08-03 2937
读丁奇大佬课程笔记与思考 课程链接 WAL技术(Write-Ahead Logging) 先写日志，再写磁盘: 当有一条记录需要更新的时候，InnoDB 引擎就会先把记录写到 redo log（粉板）里面，并更新内存，这个时候更新就算完成了。同时，InnoDB 引擎会在适当的时候，将这个操作记录更新到磁盘里面，而这个更新往往是在系统比较空闲的时候做。 刚刚update的语句还在缓存中未持久化磁盘，此时select是直接读取内存 redo log InnoDB的redo log固定大小，比如可配置一组
WAL技术
Pichairen
09-10 81
Redo log 更新流程：先写入redo log文件，再更新到内存，然后空闲的状态把redo log文件的内容刷入磁盘。 AA： 你说更新一个记录还要先写入一个文件 BB：快啊 AA：哪里快了？ BB：写入快了 AA：怎么就快了？ BB：你想想，每次更新都刷盘是不是每次都要找到对应更新的位置，这样会很慢 AA：是，那你写入一个redo log文件为什么就快了呢[Doge] BB：因为是顺序写啊[Doge]，把随机IO转换成顺序IO BB：不说了，回家吃饭 AA：哦...[Doge
mysql的WAL技术是什么_MySQL无锁化WAL系统那些事儿
weixin_33806859的博客
01-28 325
概述数据库系统一般采用WAL(write ahead log)技术来实现原子性和持久性，MySQL也不例外。WAL中记录事务的更新内容，通过WAL将随机的脏页写入变成顺序的日志刷盘，可极大提升数据库写入性能，因此，WAL的写入能力决定了数据库整体性能的上限，尤其是在高并发时。在MYSQL 8以前，写日志被保护在一把大锁之下，本来并行事务日志写入被人为串行化处理。虽简化了逻辑，但也极大限制了整体的性...
influxdb入门
hexo-github建立中出现的问题
09-15 568
了解influxdb 参考https://www.cnblogs.com/wzbk/p/10569683.html 1、数据格式 在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。 虚拟的 key 包括以下几个部分： database, retention policy, measurement, tag sets, field name, timestamp。 database: 数据库名，在 InfluxDB 中可以创建多
wal_level opengauss 增量同步
最新发布
09-19
opengauss是一种高性能且全功能的开源关系数据库，具有强大的增量同步功能。wal_level是opengauss中一个参数，用于控制写入事务日志的详细程度，并决定了增量同步的级别。 在opengauss中，wal_level参数有三个可选的值： 1. Minimal：最低级别的日志写入级别，只会记录必要的信息，无法支持增量同步。该级别下不会记录SQL语句和数据修改细节，只保留一些必要的元数据和日志。这对于不需要增量同步的应用场景是够用的，但不能实现数据库的热备份和容灾。 2. Replica：在这个级别下，opengauss将会记录更多的信息，包括SQL语句和数据修改细节。这样就能够支持流复制，即将主数据库的所有修改操作同步到从数据库，实现数据库的备份与容灾。在这个级别下，增量同步的粒度较粗，可以保证数据的一致性。 3. Logical：这是最高级别的日志写入级别，也是opengauss中的默认级别。在这个级别下，opengauss会详细记录所有的数据修改操作，包括DDL和DML语句。这样可以实现更细粒度的增量同步，即只同步指定表或特定SQL操作。这对于一些高级别的应用场景非常有用，但增量同步的性能较低。 总的来说，opengauss的wal_level参数可以控制增量同步的级别，从而实现数据库的备份与容灾。根据需求的不同，可以选择合适的级别来平衡数据的一致性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值