zookeeper源码分析之FileTxnSnapLog

最新推荐文章于 2022-05-04 19:33:44 发布
最新推荐文章于 2022-05-04 19:33:44 发布
阅读量728 收藏
点赞数
分类专栏： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33513250/article/details/103873391
版权
本文详细分析了Zookeeper的FileTxnSnapLog组件，包括SnapShot接口、FileSnap实现、TxnLog、FileTxnLog的事务日志格式以及FileTxnIterator的遍历功能。FileTxnSnapLog是整合事务日志和快照的关键工具，确保DataTree、session与文件的一致性。
摘要由CSDN通过智能技术生成

目录

一、SnapShot

二、FileSnap

三、TxnLog 

四、FileTxnLog

五、FileTxnIterator

六、FileTxnSnapLog

zookeeper维护的数据有树形结构的DataTree，它的每一个节点是DataNode。另一个是TxnLog事务日志，它包括
事务头TxnHeader和事务数据Record。它们存在zookeeper服务器的内存中，zookeeper也会将它们序列化至文件中。FileSnap文件快照保证内存中的DataTree和session与数据文件的一致性。FileTxnLog则是保证内存中事务数据Record与实务文件的一致性。

一、SnapShot

SnapShot接口为持久层提供，实现此接口，提供DataTree和session持久化功能。

public interface SnapShot {
    
    // 反序列化至DataTree和sessions，返回被序列化的最后一个zxid
    long deserialize(DataTree dt, Map<Long, Integer> sessions) 
        throws IOException;
    
    // 序列化DataTree和sessions至文件名为name中
    void serialize(DataTree dt, Map<Long, Integ
了解本专栏 订阅专栏 解锁全文 超级会员免费看
青枫绿屿
关注
专栏目录
订阅专栏
zookeeper崩溃后修复
nma_123456的专栏
12-30 9498
参考： http://www.myexception.cn/database/1973833.html 可能出现该问题的情况：强制关机，数据量过大，集群意外关闭。 使用cloudera搭建hadoop集群，由于使用ubuntu系统，根目录空间分配不足，导致数据录入一部分，集群崩溃，后来对ubuntu系统的根目录进行设置，扩大了根目录的空间，但是zookeeper中一台机器的节点一
zookeeper源码分析之恢复snapshot
weixin_42442768的博客
11-27 774
zookeeper数据结构加载过程前言源码分析数据结构 前言 本文是基于zookeeper集群启动过程分析（https://blog.csdn.net/weixin_42442768/article/details/109247622），对zk从磁盘中读取文件并恢复为内存中的zk数据结构这一过程进行源码分析。 源码分析 前文分析了QuorumPeer类的loadDataBase()方法，本文对其中的zkDb.loadDataBase()方法进行分析。 首先来看一下QuorumPeer类中的成员变量zkDb:
【Zookeeper】源码分析之持久化（三）之FileTxnSnapLog
weixin_34337265的博客
01-14 171
一、前言 　　前面分析了FileSnap，接着继续分析FileTxnSnapLog源码，其封装了TxnLog和SnapShot，其在持久化过程中是一个帮助类。 二、FileTxnSnapLog源码分析 　　2.1 类的属性　　 public class FileTxnSnapLog { //the direcotry containing the //the tr...
ZooKeeper源码分析六之FileTxnSnapLog
solayang的博客
12-23 903
一、FileTxnSnapLog 前边分析可知，ZooKeeper中数据的持久化以及日志文件的写入都是通过FileTxnSnapLog对象来实现的，本文大致分析一下这个对象的整体结构。 FileTxnSnapLog的初始化在runFromConfig方法中： FileTxnSnapLog txnLog = new FileTxnSnapLog(config.dataLogDir, config.dataDir) 其中dataDir和dataLogDir是在配置文件中进行路径配置，并且dataDir必须的且
Zookeeper源码阅读之五(FileTxnSnapLog)
ijbuhv的专栏
10-26 375
本次阅读的zookeeper的版本是3.4.19 zookeeper的数据的持久化主要是依赖两种文件，第一种是snapshot快照文件，一种是log日志文件。对于snapshot文件存储的是这个DataTree和session内存的快照，对于log文件则是顺序存储的事务日志。 下面图展示了这两种文件的格式，可以看到这两种文件的后缀都是一个16进制数，对于snapshot文件表示的是在开始这个快照时其对应的最后一个执行的事务id,这表示在做恢复时这个事务id之后的事务都需要重新执行，对于log文件来..
Zookeeper 持久化——FileTxnLog(一)
m0_37941483的博客
04-19 364
本节讲解 zk的持久化框架 事务日志FileTxnLog日志结构 FileTxnLog源码 LogFormatter完成事务日志的反序列化 分析事务日志demo 1.持久化总体框架 持久化的类主要在包org.apache.zookeeper.server.persistence下，结构如下图： TxnLog，接口类型，读取事务性日志的接口。 FileTxnLog，实现TxnLog接口，添加了...
zookeeper源码分析之单机模式服务端启动
舞鹤白沙编码日志
02-05 1210
一. 源码分析前的准备 1. 在idea中打开Run/Debug Configurations, 2. 添加一个Application 3.运⾏主类 org.apache.zookeeper.server.QuorumPeerMain ，将zoo.cfg的完整路径配置在Program arguments。 4. 在VM options配置，即指定到conf⽬录下的log4j.properties： -Dlog4j.configuration=file:/javawork/zooke..
zookeeper源码分析之恢复事务日志
weixin_42442768的博客
01-05 494
zookeeper源码分析之恢复事务日志前言源码分析查看事务日志命令总结 前言 本文是基于zookeeper集群启动过程分析（https://blog.csdn.net/weixin_42442768/article/details/109247622），对zk从磁盘中读取文件并恢复为内存中的zk数据结构这一过程进行源码分析，snapshot的恢复过程见上一篇（https://blog.csdn.net/weixin_42442768/article/details/110134663），本文主要分析事务日
【Zookeeper】源码分析之持久化--FileTxnSnapLog
zdy0_2004的专栏
01-15 928
http://www.cnblogs.com/leesf456/p/6285703.html 一、前言 　　前面分析了FileSnap，接着继续分析FileTxnSnapLog源码，其封装了TxnLog和SnapShot，其在持久化过程中是一个帮助类。 二、FileTxnSnapLog源码分析 　　2.1 类的属性　　 public class FileTxnSnapLog
zookeeper源码分析之集群模式服务端
舞鹤白沙编码日志
02-05 993
集群模式下启动所有的ZK节点启动⼊⼝都是QuorumPeerMain类的main⽅法。 main⽅法加载配置⽂件以后，最终会调⽤到QuorumPeer的start⽅法，来看下： public void runFromConfig(QuorumPeerConfig config) throws IOException, AdminServerException { try { ManagedUtil.registerLog..
4.zookeeper原理解析-数据存储之FileTxnLog& FileTxnSnapLog工具
斩秋的专栏
05-11 3121
FileTxnLog类用来操作事务记录文件下面我们来看看这个类主要实现方法 4.1）append方法： 用来向文件尾部添加一条记录
zookeeper清理文件后启动报错排查
Entity_G的博客
03-11 782
zookeeper启动错误排查 今天在练习zookeeper时，清理data目录下的内容后； 清理内容（停止服务后清理）： version-2 zookeeper_server.pid 出现了启动错误，进行排查如下； 1、启动zk [root@hdss-7-21 data]# zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.5.8-bin/bin/../conf/z
Zookeeper源码阅读（三）数据存储-日志
a814333256的博客
09-17 404
前言 接着上篇的内容，上一篇主要说了下Zookeeper内部的数据存储基本单位datanode和内存中维护的Datatree，还有和配额有关的三个实体类。具体在zk初始化时是怎么生成datatree等等后面会说。这一篇主要说下事务日志，后面也有用到。 事务日志 关于zookeeper事务日志的格式，可以参考下 zk事务日志，其实简单说也就是header+body两个部分，header有版...
zk源码阅读3: 持久化FileTxnLog
09-07 377
摘要 本节讲解 zk的持久化框架 事务日志FileTxnLog日志结构 FileTxnLog源码 LogFormatter完成事务日志的反序列化 分析事务日志demo 持久化总体框架 持久化的类主要在包org.apache.zookeeper.server.persistence下，结构如下...
org.apache.zookeeper.server.persistence.FileTxnSnapLog$DatadirException: Unable to create data
颠沛流离的青春〃--ゞ沫小陌ぴ
05-04 1364
在win10上安装zookeeper，一个初学者犯的错，记录下，以防再犯！错误如下： 上面的错误已经说的很清楚了，unable to access datadir, exiting abnormally 。无法访问datadir路径的文件夹，说明，我们的文件路径有问题。查看下自己设置的路径： 发现问题没？ 真正的win下路径应该为：dataDir=D:\\tools\\apache-zookeeper\\data 是双斜杠的！！！ ...
对kafka中zookeeper启动过程解析
代码菜鸟旺仔
05-14 1万+
首先kafka中zookeeper启动的命令是： /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties & 查看zookeeper-server-start.sh里面最后一行是： exec $base_dir/kafka-run-class.sh $EXTRA
zookeeper报错persistence.FileTxnSnapLog$SnapDirContentCheckException: Snapshot directory
食火的埃尔德里奇
08-10 3547
报错信息: org.apache.zookeeper.server.persistence.FileTxnSnapLog$SnapDirContentCheckException: Snapshot directory has log files. Check if dataLogDir and dataDir configuration is correct. at org.apa...
CDH集群异常关闭导致zookeeper启动失败
cesgo的博客
02-01 6230
集群异常关闭后，有个zookeeper节点始终无法启动，CM上的日志没有明显的报错 解决思路：  1.尝试通过命令行启动zkServer.sh  start，查看zookeeper.out，发现报如下错误 Unexpected exception, exiting abnormally java.io.EOFException at java.io.DataInputStre
zookeeper异常处理
热门推荐
flyeagle88的专栏
01-12 2万+
一、zookeeper报错：unable to load database on disk   2014-01-12 18:59:39,039 INFO org.apache.zookeeper.server.persistence.FileSnap: Reading snapshot /var/lib/zookeeper/version-2/snapshot.1f0015b724 2
Zookeeper源码解析-自动清理事务日志、快照日志功能分析
恐龙弟旺仔的博客
10-20 1581
前言： 自Zookeeper-3.4.0版本开始，就提供了自动清理事务日志和快照日志的功能。 我们可以想一下，如果不清理这些日志会怎样？貌似短期也不会怎样，但是由于这些日志是直接落入当前磁盘的，所以长期以往，磁盘肯定会被占满，导致zookeeper服务无法正常提供。 本文就介绍下这个自动清理日志的功能。 1.配置自动清理 配置的方式很简单，就是在zoo.cfg中添加以下两个配置即可，示例如下： # 保存3个快照，3个日志文件 autopurge.snapRetainCount=3 # 间隔
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值