JindoFS解析 - 云上大数据高性能数据湖存储方案

作者：殳鑫鑫，花名辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

---

JindoFS背景

计算存储分离是云计算的一种发展趋势，传统的计算存储相互融合的的架构存在一定的问题， 比如在集群扩容的时候存在计算能力和存储能力相互不匹配的问题，用户在某些情况下只需要扩容计算能力或者存储能力，传统的融合架构不能单独的扩充计算或者存储能力， 而计算存储分离可以很好的解决这个问题，用户只需要关心整个集群的计算能力。

基于OSS 计算存储分离

EMR 现有的计算存储分离方案是基于OSS提供兼容Hadoop文件系统的OssFS， 用户通过OssFS 可以访问OSS 上的数据， 因此OssFS 保留了OSS的一些优势，比如提供海量存储，成本低，高可靠等，同时也存在一些问题比如文件重命名操作慢， OSS 带宽限制，高频访问的数据消耗过多的OSS带宽。而JindoFS 除了可以保留上述OssFS的优势，还克服上述OssFS的问题。

JindoFS 主要包含两个服务组件：Namespace的服务以及Storage 服务，Namespace服务主要JindoFS 元数据管理以及 Storage 服务的管理， Storage 服务主要负责 用户数据的管理包含本地数据的管理和OSS上数据的管理， JindoFS是云原生的文件系统，可以提供本地存储的性能以及OSS的超大容量。下面我们分别介绍下这两个服务的主要功能。

Namespace 主要用来管理用户的元数据，这部分元数据包含JindoFS 文件系统的元数据， Block 的元数据以及 Storage 服务的元数据，JindoFS Namespace服务可以在单个集群上支持不同的Namespace， 用户可以根据不同的业务划分不同的Namespace，不同的Namespace存放不同业务数据。此外Namespace可以设置不同存储后端现阶段主要支持RocksDB，OTS的支持预计在下个版本发布，针对Namesp