文章目录
前言
在之前笔者写过一篇关于Ozone数据探查服务Recon的文章(存储系统“数据之眼”的设计–数据探查服务).Recon作为一个系统内部数据探查服务,它通过定期同步OM元数据,然后做内部的智能化分析(内部做数据聚合计算等等),可以帮助管理员方便了解系统内的数据情况。目前Recon 1.0版本已经设计实现完毕。最近Ozone社区在设计讨论Recon 2.0的事情,在2.0中,Recon涵盖的内容将会更多。这里面Recon将会进一步探查分析SCM内的Container元数据管理。下面我们来简单聊聊Recon 2.0的相关内容。
现今Ozone Recon的功能以及2.0版本的目标
现有Ozone Recon的功能主要在于OM元数据(key键值数据)的分析,包括简单的file size的range计数,然后就是Recon整体模型的基础实现。Recon的一个主要实现点在于,它通过同步原系统服务元数据的方式,然后做二次数据分析。
在1.0的设计中,很多细节的功能点其实还不够完善,比如用户会比较关心的key数据丢失的问题,类似于HDFS下的missing block问题。这里我们要知道哪些key,在哪些节点上发生数据丢失或损坏了。而这就是Recon 2.0要做的主要目标,就是做一个类似HDFS FSCk这样的命令功能。
综上所述,Recon 2.0将会实现以下两项功能点:
- 有能力知道丢失的数据key,以及此key所在Container的信息,类似FSCK命令。
- 收集,展示Datanode节点的健