Ozone数据探查服务Recon2.0设计

前言

---

在之前笔者写过一篇关于Ozone数据探查服务Recon的文章(存储系统“数据之眼”的设计–数据探查服务).Recon作为一个系统内部数据探查服务，它通过定期同步OM元数据，然后做内部的智能化分析(内部做数据聚合计算等等)，可以帮助管理员方便了解系统内的数据情况。目前Recon 1.0版本已经设计实现完毕。最近Ozone社区在设计讨论Recon 2.0的事情，在2.0中，Recon涵盖的内容将会更多。这里面Recon将会进一步探查分析SCM内的Container元数据管理。下面我们来简单聊聊Recon 2.0的相关内容。

现今Ozone Recon的功能以及2.0版本的目标

---

现有Ozone Recon的功能主要在于OM元数据(key键值数据)的分析，包括简单的file size的range计数，然后就是Recon整体模型的基础实现。Recon的一个主要实现点在于，它通过同步原系统服务元数据的方式，然后做二次数据分析。

在1.0的设计中，很多细节的功能点其实还不够完善，比如用户会比较关心的key数据丢失的问题，类似于HDFS下的missing block问题。这里我们要知道哪些key,在哪些节点上发生数据丢失或损坏了。而这就是Recon 2.0要做的主要目标，就是做一个类似HDFS FSCk这样的命令功能。

综上所述，Recon 2.0将会实现以下两项功能点：

• 有能力知道丢失的数据key,以及此key所在Container的信息，类似FSCK命令。
• 收集，展示Datanode节点的健