一,zookeeper中的文件存储及相关配置
zookeeper启动后,会将所有数据加载到内存中,但是也会在硬盘上留下数据文件和日志文件便于恢复。在配置文件中,有如下的一些参数与文件相关:
- dataDir:保存内存快照数据的目录;
- dataLogDir:保存 transaction log的目录;
- globalOutstandingLimit :单台服务器上未完成的最大客户端请求数(当客户端发送请求太快而集群来不及处理时),默认1000.
- preAllocSize:transaction log预设的文件大小,默认是64M,
- snapCount:进行快照的阀值,默认10000;当transaction log条数达到 snapCount/2 + rand.nextInt(snapCount/2)时就做一次快照,使用随机数的原因是避免所有服务器会同时做快照
zookeeper的快照数据保存在$dataDir中,文件的命名格式为:snapshot.{16进制串},其中16进制串是lastZxid转换后的值。相关序列化和反序列化的类可以看{org.apache.zookeeper.server.persistence.FileSnap},快照文件中的内容包括文件头信息,DataTree数据及一些session数据。
事物日志则保存在$dataLogDir中,日志文件的命名格式类似与snapshot:log.{16进制串},相关读写的类可以见{org.apache.zookeeper.server.persistence.FileTxnLog}。日志文件中的数据格式稍微复杂一点,如代码注释中所述:
- * The format of a Transactional log is as follows:
- *
- <blockquote>
- <pre> * LogFile:
- * FileHeader TxnList ZeroPad
- *
- * FileHeader: {
- * magic 4bytes (ZKLG)
- * version 4bytes
- * dbid 8bytes
- * }
- *
- * TxnList:
- * Txn || Txn TxnList
- *
- * Txn:
- * checksum Txnlen TxnHeader Record 0x42
- *
- * checksum: 8bytes Adler32 is currently used
- * calculated across payload -- Txnlen, TxnHeader, Record and 0x42
- *
- * Txnlen:
- * len 4bytes
- *
- * TxnHeader: {
- * sessionid 8bytes
- * cxid 4bytes
- * zxid 8bytes
- * time 8bytes
- * type 4bytes
- * }
- *
- * Record:
- * See Jute definition file for details on the various record types
- *
- * ZeroPad:
- * 0 padded to EOF (filled during preallocation stage)
如果需要分析日志文件的话,可以考虑对FileTxnLog和FileTxnIterator做简单修改来暴露数据读取接口。
二,zookeeper的数据恢复过程
当进行一次快照时,就会重新生成一个新的日志文件,二者结合可以把数据恢复(断点+动作重放),启动时数据恢复的具体的逻辑在{org.apache.zookeeper.server.persistence.FileTxnSnapLog}中:
- snapLog.deserialize(dt, sessions);
- FileTxnLog txnLog = new FileTxnLog(dataDir);
- TxnIterator itr = txnLog.read(dt.lastProcessedZxid+1);
- long highestZxid = dt.lastProcessedZxid;
代码中先读取快照数据生成断点映像,然后根据断点映像中最大zxid开始进行事务重放
三,zookeeper节点间的数据同步
当各个节点已经自我恢复并选举出leader后,leader就开始和follows进行数据同步了,具体的逻辑可以见{org.apache.zookeeper.server.quorum.LearnerHandler}中:
leader构建NEWLEADER包,内含leader最大数据的zxid, 广播给follows,然后leader根据follower数量为每个follower创建一个LearnerHandler线程来处理同步请求:leader主线程阻塞,等待超过半数follower同步完数据之后成为正式leader。
follower接收到NEWLEADER包后响应FOLLOWERINFO给leader,告知本方数据最大的zxid值; leader接收到回馈后开始判断:
- 如果follower和leader数据一致,则直接发送DIFF告知已经同步;
- 判断这一阶段内有无已经北提交的决议值,如果有,那么
a) 如果有部分数据没有同步,leader发送DIFF包将有差异的数据同步过去,同时将follower没有的数据逐个发送commit包给follower要求记录下来;
b) 如果follower数据zxid更大,发送TRUNC包给follower要求删除多余数据 - 如果这一阶段没有提交的决议,直接发送SNAP包将快照同步给follower
以上消息完毕后,LEADER发送UPTODATE包告知follower当前数据已同步,等待follower的ACK完成同步过程。
本文出自 溪木镇的铁匠铺,转载时请注明出处及相应链接。
本文永久链接: http://www.zhouyoudao.com/zookeeper-data