BLACKHOLE的BINLOG实现

最新推荐文章于 2023-11-14 16:58:36 发布
置顶 最新推荐文章于 2023-11-14 16:58:36 发布
阅读量570 收藏 1
点赞数
分类专栏： MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36135773/article/details/78816554
版权

BlackHole ：黑洞引擎，写入的任何数据都会消失，用于记录binlog做复制的中继存储！

是否支持BLACKHOLE引擎，通过查看SHOW ENGINES进行查看。

BlackHole的用途:

  • 用于binlog的备份

线上MySQL的binlog一般会保留3-5天，但是对比较重要的业务，binlog可能需要保留一个月甚至半年。线上服务器可没有这么大的空间，最多保留10天就会被purge掉。此时blackhole就有了用武之地。blackhole从库+xtrabackup的定期热备+binlogflashback，可以让你的数据库恢复到任意时刻。

  • 充当binlog     API，为其他程序提供数据源

可作为其他程序提供数据源的接口，如在BLACKHOLE获取BINLOG分析把对应的数据插入到redis中。这种情况下blackhole从库充当了天然的binlog API。

  • 跨IDC部署场景下，节省带宽

如果一个主库拖着20个从库，主库可能不堪重负，此时可以考虑给主库增加一个blackhole从库作为中继，虽然这种方案有诸多不靠谱的地方，但是如果这个主库在北京，20个从库在广州，这种方案就有意义了：在广州增加一个blackhole，让blackhole下挂20个从库，此时就可节省大量北京到广州的带宽。

。。。。。。

应用场景：

 主服务器的操作写入二进制日志,伪mysqld进程作为从服务器，在伪mysqld进程上配置replicate-do和replicate-ignore规则，并且写一个新的，被过滤的二进制日志。这个已过滤日志被提供给其他真正的从服务器。因为伪进程不存储任何数据，只消耗很小的额外的mysqld进程资源。这个类型的建立可以用额外复制从服务器来重复。

 当然如果配置一主多从的话，多个从服务器会在主服务器上分别开启自己相对应的线程，执行binlog dump命令而且多个此类进程并不是共享的。为了避免因多个从服务器同时请求同样的事件而导致主机资源耗尽，可以单独建立一个伪的从服务器或者叫分发服务器：

wKiom1iX31GzGkM1AAEHg-UqvGo794.png-wh_50

 

测试环境：

SERVER

IP

ROLE

Data_format

MASTER

192.168.15.2

主库

RBR

BLACKHOLE

192.168.15.13

分发服务器

RBR

SLAVE

192.168.15.104

分发服务器的从库

RBR

 

搭建过程：

1、在master 添加一个帐号作为BLACKHOLE同步BINLOG使用

2、在BLACKHOLET添加一个帐号作为SLAVE同步BINLOG使用

3、可以指定需要同步的库表或者忽略某些表（replicate-do和replicate-ignore规则）

4、新环境搭建主从过程：

         1、实例启动后对master执行show masterstatus 获取到的BINLOG FIEL 和POS作为BLACKHOLE的连接使用

         2、实例启动后对BLACKHOLE执行show masterstatus 获取到的BINLOG FIEL 和POS作为SLAVE的连接使用

         3、在主库添加DDL的时候，不要再次指定ENGINE，根据实例配置走即可，若再次指定引擎，到BLACKHOLE，同步的BINLOG的中的DDL语句没法使用BLACKHOLE引擎，不符合黑洞引擎，写入的任何数据都会消失这一说法，虽然也能同步，感觉为线性级联方式同步

         注意：在BLACKHOLE需要开启log_slave_updates和BINLOG服务器才能作为SLAVE的同步数据源

5、对于旧环境添加BLACKHOLE服务器：

         1、如果在DDL指定ENGINE话，到BLACKHOLE服务器存储的表和主库一致，不符合黑洞引擎，写入的任何数据都会消失这一说法

       2、在导入旧数据的时候，需要修改导入数据表的引擎为BLACKHOLE

       3、在BLACKHOLE连接着SLAVE时候，需要把SLAVE引擎改为和主库一致

       4、备份的数据不需要DDL语句，只要数据，在主库导入即可，后期写入的数据，即可通过BLACKHOLE同步快速同步到不同的SLAVE上

最终结果图：

主库上的DDL：

wKioL1iX3-ayb52uAAAyYCVTDw0677.png-wh_50

BLACKHOLE的DDL:

wKioL1iX4ASTXv32AAAmWV8Us_8070.png-wh_50

SLAVE上的DDL

wKioL1iX4CKxDMd8AABCJqiNW3g633.png-wh_50

实验现象：

         在测试1000W数据写入的时候，BLACKHOLE同步MASTER的速度很快，

SLAVE的IO线程同步BLACKHOLE的BINLOG日志速度也快，但SLAVE的SQL_THREAD线程的速度跟不上（MySQL版本为5.6，或用5.7的多个线程可提高效率）.数据获取多次展示：

 

 

master binlog event File:mysql-bin.000006

                    Position:777525175

blackhole master event File:mysql-bin.000007

                       Position:129152031

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000006

                Read_Master_Log_Pos: 776113906

                Relay_Log_File:relay-log.000010

                Relay_Log_Pos: 458099520

                Exec_Master_Log_Pos: 458099357

SLAVE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 129152031

                Relay_Log_File:relay-log.000017

                Relay_Log_Pos: 129007567

                Exec_Master_Log_Pos: 129007404

master binlog event File:mysql-bin.000006

                    Position:844042095

blackhole master event File:mysql-bin.000007

                       Position:152147724

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000006

                Read_Master_Log_Pos: 843124455

                Relay_Log_File:relay-log.000010

                Relay_Log_Pos: 481091238

                Exec_Master_Log_Pos: 481091075

SLAVE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 152147724

                Relay_Log_File:relay-log.000017

                Relay_Log_Pos: 152147887

                Exec_Master_Log_Pos: 152147724

master binlog event File:mysql-bin.000006

                    Position:936876579

blackhole master event File:mysql-bin.000007

                       Position:199585380

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000006

                Read_Master_Log_Pos: 936441390

                Relay_Log_File:relay-log.000010

                Relay_Log_Pos: 528520694

                Exec_Master_Log_Pos: 528520531

SLAVE SYNE:

                Master_Log_File: mysql-bin.000007

                Read_Master_Log_Pos: 199585380

                Relay_Log_File:relay-log.000017

                Relay_Log_Pos: 199585543

                Exec_Master_Log_Pos: 199585380

master binlog event File:mysql-bin.000007

                    Position:131443338

blackhole master event File:mysql-bin.000007

                       Position:444149637

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 131044087

                Relay_Log_File:relay-log.000010

                Relay_Log_Pos: 773042676

                Exec_Master_Log_Pos: 773042513

SLAVE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 444020772

                Relay_Log_File: relay-log.000017

                Relay_Log_Pos: 384708103

                Exec_Master_Log_Pos: 384707940

master binlog event File:mysql-bin.000007

                    Position:286312080

blackhole master event File:mysql-bin.000007

                      Position:679313139

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 286167931

                Relay_Log_File:relay-log.000010

                Relay_Log_Pos: 1008165528

                Exec_Master_Log_Pos: 1008165365

SLAVE SYNE:

                Master_Log_File:mysql-bin.000007

                Read_Master_Log_Pos: 679191406

                Relay_Log_File:relay-log.000017

                Relay_Log_Pos: 537578842

                Exec_Master_Log_Pos: 537578679

 

master binlog event File:mysql-bin.000008

                    Position:249583172

blackhole master event File:mysql-bin.000008

                       Position:469748616

BLACKHOLE SYNE:

                Master_Log_File:mysql-bin.000008

                Read_Master_Log_Pos: 249368601

                Relay_Log_File:relay-log.000013

                Relay_Log_Pos: 798058721

                Exec_Master_Log_Pos: 798058558

SLAVE SYNE:

                Master_Log_File:mysql-bin.000008

                Read_Master_Log_Pos: 469654916

                Relay_Log_File:relay-log.000020

                Relay_Log_Pos: 333076264

                Exec_Master_Log_Pos: 333076101

 

由此看出，在1000W 写入的时候，MASTER与BLACKHOLE的IO_THREAD延迟不是很大，取决于BLACKHOLE的SQL_THREAD。需要注意的是，在主库的添加DDL不能指定引擎名字，让数据库实例自行为DDL添加引擎即可，否则在BLACKHOLE中也会和M一样的引擎名字，这样的结果是否能够一样的提高效率，有待验证。

DBASpace
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MySQL的BlackHole引擎在主从架构中的作用
weixin_30745641的博客
12-22 125
MySQL在5.x系列提供了Blackhole引擎–“黑洞”. 其作用正如其名字一样：任何写入到此引擎的数据均会被丢弃掉， 不做实际存储；Select语句的内容永远是空。 和Linux中的 /dev/null 文件完成的作用完全一致。那么， 一个不能存储数据的引擎有什么用呢？在大规模的Mysql服务器集群中，如果是存在一台主服务，多台从服务器，在繁忙的业务中，意味着主服务器每操作一个事件，都要往自...
DBA技术栈（二）：MySQL 存储引擎_bdb存储引擎
最新发布
2401_85112189的博客
06-16 672
在 MySQL 中使用最为广泛的除了 MyISAM 之外，就非 Innodb 莫属了。Innodb 做为第三方公司所开发的存储引擎，和 MySQL 遵守相同的开源 License 协议。1、支持事务安装Innodb在功能方面最重要的一点就是对事务安全的支持，这无疑是让Innodb成为MySQL最为流行的存储引擎之一的一个非常重要原因。
mysql blackhole_MySQL BlackHole引擎
weixin_42520374的博客
01-19 209
概念像MyISAM、InnoDB，BlackHole是另一种MySQL引擎，从字面意思来看，其表现就像一个黑洞，只进不出，进来就消失。换句话说，任何往其中写的数据都将丢失，有点像Linux的/dev/null比如一个表test的引擎是BlackHole，任何对这个表的insert都将丢失，对它的select永远返回空集，对应的数据目录下只有一个test.frm文件，且没有其他文件与之关联。使用场景...
【MySql】 BlackHole ：黑洞引擎
cojm55771的博客
12-20 308
BlackHole ：黑洞引擎，写入的任何数据都会消失，用于记录binlog做复制的中继存储！如何安装： 在安装MySQL时使用带有--with-blackhole-storage-engine选项的 co...
MySQL 的blackhole存储引擎
iCoding91
05-18 1507
认识MySQL的blackhole引擎是在学习MySQL的复制拓扑中遇到的。出现场景是：为了避免在分发主库上做具体实际的查询，可以将它的表修改为blackhole存储引擎。 1、什么是blackhole引擎 创建一个blackhole的表时，服务器server在数据库目录创建一个表定义文件。文件用表的名字开头，以.frm作为扩展名。没有其他文件关联到这个表。blackhole表不存储任何数据。
MySQL 4种常用的主从复制架构
09-08
使用BLACKHOLE引擎可以进一步减少延迟，因为它不实际存储数据，仅记录BINLOG事件。 3. 双主复制架构： 双主复制允许两个节点互相作为主从，任何一方都可以接收写请求。在需要维护时，可以将写操作切换到另一方，而...
如何向mysql中插入数据？
08-24
BlackHole 是一个黑洞引擎，写入的任何数据都会消失，一般用于记录 binlog 做复制的中继。EXAMPLE 是一个不做任何事情的存根引擎，它的目的是作为 MySQL 源代码中的一个例子，用来演示如何开始编写一个新存储引擎。 ...
数据库内核__基于网易互联网业务的MySQL内核优化之路V2.pdf
09-07
此外，通过使用Blackhole存储引擎的MGR日志节点，可以进一步降低资源需求。\n\n**未来发展方向**\n\nInnoSQL的未来发展聚焦于开源通用的共享存储数据库方案，例如CURVE项目，旨在打造一个更加开放、灵活且高性能的...
TUP第九期简朝阳演讲PPT
04-25
因此，写入操作集中在核心数据库，便于后台管理，通过实时解析MySQL的Binlog日志，按模块或类别将数据分发至多个读取服务节点，实现数据的实时同步和分发。这种架构不仅提高了复制的灵活性和效率，还能有效应对高峰...
基于MySQL的存储引擎与日志说明(全面讲解)
09-09
MySQL的其他存储引擎包括MEMORY（数据存储在内存中）、ARCHIVE（用于长期存储历史数据）、FEDERATED（连接远程数据库表）、BLACKHOLE（丢弃所有写入数据，用于测试）等。用户还可以选择第三方存储引擎，如NDBCLUSTER...
Mysql数据库管理-blackhole存储引擎
oradbm的博客
11-14 507
mysql>mysql>->;mysql>
Mysql索引和主从配置
Moon And pennys
09-17 455
索引 索引的目的：提高查询效率 数据验证 索引语句： create index (索引名) on (表名)(字段名(size)) eg: #title为varchar类型、大小10 如果字段类型是非字符串，可以不用写大小 create index title_index on test_index(title(10)) 索引的结构 Mysql索引结构是一个B+树：非叶子节点保存的是索引，而不是数据，叶子节点保存的是数据，是数据库索引结构的首选 使用B+树存储的优势： 单一节点存储更多的元
数据库 -- 存储引擎介绍
weixin_34133829的博客
10-07 120
mysql引擎介绍 1，概念 　　mysql5.6支持的存储引擎包括InnoDB、MyISAM、MEMORY、CSV、BLACKHOLE、FEDERATED、MRG_MYISAM、ARCHIVE、PERFORMANCE_SCHEMA。其中NDB和InnoDB提供事务安全表，其他存储引擎都是非事务安全表。 mysql支持的存储引擎 MySQL服务器采用了多层设计和独立模块，...
mysql blackhole_MySQL BlackHole 存储引擎使用
weixin_35027153的博客
01-19 292
BlackHole “黑洞”，高大上的样子，但它 No transaction，no xa，no savepoint，这些都没有阻挡他的应用；show engines 中会显示 blackhole 的comment 为：/dev/null storage engine (anything you write to it disappears)它有自己特定的应用场景：1、充当dummy maste...
mysql黑洞_MySQL黑洞引擎的使用场景解释
weixin_29577659的博客
01-19 169
MySQL有一个出类拔萃的引擎名叫BlackHole， 又名黑洞。 好多人说这个是鸡肋， 一点用处也没有。 熟读手册，会发现以下几点：A. 检查DUMP 文件是否完整。你可以用MYSQLDUMP 脚本单独导出表结果以及数据，然后单独检查导出文件的语法是否完整。B. 对比开启二进制日志和不开启二进制日志对性能的损失到底有多少?好多人期待的问题。 到底开启二进制日志与关闭它对性能的损失有多大比例呢?黑...
mysql blackhole缺点_MySQL的存储引擎之Blackhole
weixin_34238178的博客
01-27 286
Blackhole，黑洞，初见这个词，一下就想到了相对论中的那个能吞噬一切，连光都无法逃脱的黑洞。MySQL的Blackhole引擎会怎么样呢？看看官方文档：The BLACKHOLE storage engine acts as a “black hole” that accepts data but throws it away and does not store it.Blackhole引...
mysql blackhole_一键搭建blackhole从库
weixin_33320626的博客
01-27 172
之前我们搭建blackhole从库，都是先把线上主库或者备库的表结构dump出来，然后把主库的权限库、监控库等整个拷贝过来，再change来自业务的驱动前一段时间，微博的双向关注业务拆分，数据库实例增多了几倍，对应的，我们要为这些实例搭建很多blackhole从库，供后面的binlog分析程序分析binlog并最终导入到redis中。整个过程比较枯燥乏味，尤其blackhole从库的搭建，花费了我...
blackhole引起k8s DNS访问异常
总结、分享、交流
06-22 1823
环境背景 3个节点的k8s集群： [root@kube-196 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION kube-195 Ready <none> 8d v1.14.2 kube-196 Ready master 12d v1.14.1 kube-197 ...
mac安装blackhole 2插件
07-25
要在Mac上安装BlackHole 2插件，您可以按照以下步骤操作： 1. 首先，访问BlackHole的官方网站（https://existential.audio/blackhole/）并下载最新版本的BlackHole安装程序。 2. 完成下载后，双击打开安装程序，并...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值