BookKeeper 设计介绍及应用

最新推荐文章于 2024-08-07 09:09:49 发布

wateray

最新推荐文章于 2024-08-07 09:09:49 发布

阅读量9.7k

点赞数 2

分类专栏：分布式消息文章标签： bookkkeeper 消息

本文链接：https://blog.csdn.net/wateray/article/details/51757425

版权

BookKeeper是一个由Yahoo创建并在2011年开源的可靠日志流记录系统，提供强一致性保障。它常用于日志记录、Hadoop NameNode HA以及雅虎的分布式消息系统CMS。BookKeeper通过多副本策略确保高可用性，其架构包括bookies、ledgers和journal，支持顺序写入和随机读取。未来挑战包括优化缓存、提高吞吐量和租户隔离性能。

摘要由CSDN通过智能技术生成

BookKeeper由yahoo于2009年创建，并在2011年开源。

BookKeeper是一个可靠的日志流记录系统，用于将系统产生的日志(也可以是其他数据)记录在BookKeeper集群上，由BookKeeper这个第三方Storage保证数据存储的可靠和一致性。典型场景是系统写write-ahead log，即先把log写到BookKeeper上，再对log做处理，比如将log写到内存的数据结构中。BookKeeper同时适用于任何单点写入并要求保证高性能和数据不丢失（Strong Durabilty Guarantees）的场景。

BookKeeper诞生于Hadoop2.0的namenode HA。在Hadoop中，出于故障恢复的考虑，Namenode在对它的记录做修改前都会先将本条修改的日志写到磁盘上。但是这里有一个潜在问题，当Namenode发生故障时，很可能连本地磁盘也不能访问，这时之前的记录的日志也就没用了。基于上述考虑，可以将Namenode的日志信息保存在一个可靠的外部Storage中。最初业界通过NFS这样的Share Storage来实现日志同步。之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面是因为NFS相对稳定成熟。虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存储节点单点。为了满足共享日志的高可用性，社区引入了BookKeeper。除此之外还有默认的HA方案：QJM。