2020年02月_Android路上的人

原创 Ozone Datanode ContainerStateMachine语义实现

文章目录前言ContainerStateMachine对于StateMachine/RaftLog的语义实现前言上篇文章里笔者介绍了Ozone中使用的Apache Ratis的内部一致性实现原理，得益于底层的一致性封装实现，在Ozone层面，它只需要调用此库并实现自定义的StateMachine方法即可。在Ozone Datanode中，就自定义了ContainerStateMachine来...

2020-02-23 12:22:29 715

原创 Ozone内部使用的RaftLeader/RaftFollower的一致性同步机理

文章目录前言Apache Ratis基于Raft协议的一致性同步过程Apache Ratis内部RaftLeader/RaftFollower过程调用分析前言在之前的文章中，笔者提过Ozone内部使用的是基于Raft协议的一致性控制，以此保证Ozone Container操作请求在Pipeline节点上的一致性。但是这里面具体是怎么样的一个过程呢？RaftLeader/RaftFollow...

2020-02-22 12:01:12 1016

原创 Ozone FS Namespace的设计构想

文章目录前言Ozone FS Namespace综述Ozone FS Namespace的结构设计前言之前笔者介绍过Ozone如何作为Hadoop兼容性文件系统供外部应用使用，就是我们所说的Ozone FileSystem。但是Ozone FileSystem在本质上并没有改变底层Key在Ozone中的存储形式，它只是做了一个从树型结构的路径到Ozone的volume，bucket，key的...

2020-02-16 11:52:12 904

原创从Ozone Recon到分布式系统只读模式的服务构建

文章目录前言Ozone Recon模式的运作原理总结引用前言当面对一个复杂的分布式系统时，如果我们想了解其内部运行的情况，我们通常的做法是进行内部指标metric的收集和暴露。但是如果我们遇到一些内部指标的统计需要进行系统服务内部逻辑的大规模改动或者目标metric的指标收集操作会影响到服务的正常请求处理，那么这个时候我们有没有好的办法呢？最完美的方法无疑是搭建出一个元数据完全一致的READ...

2020-02-13 23:16:05 1102 2

原创 Ozone Multi-Raft机制对于更大throughput处理量的支持

文章目录前言Multi-Raft的支持到Ozone多Pipeline的节点复用支持前言在前面介绍Ozone文章内容中，笔者多次提及Ozone使用的是Raft一致性协议来做副本间的数据一致性的。Ozone使用的是Raft的Java实现库Apache Ratis实现的，在早期Apache Ratis实现里，它需要传入一个Pipeline节点作为命令操作的对象。并且每个Pipeline之间是不能带...

2020-02-10 23:56:00 1293

原创 Ozone SCM的Container状态转化分析

文章目录前言SCM和Datanode之间的Container处理过程SCM Container的状态转化前言上一篇文章里，笔者对SCM的Pipeline的状态转化做了一定的分析。本文笔者将对SCM中另外一个重要概念Container做详细的分析。Container作为Ozone SCM提供服务的存储单元，SCM内部在Container级别进行数据的Replication，心跳汇报操作等等。这...

2020-02-08 22:47:07 930

原创 Ozone SCM的Pipeline状态转化分析

文章目录前言SCM的Pipeline处理流程SCM Pipeline的生命周期前言在前几篇讲述Ozone SCM的文章中，笔者多次提及到了Container，Pipeline的概念。Ozone SCM服务围绕着这2个概念，对外提供核心的存储服务。本文笔者将对其中的Pipeline进行更为深入的分析阐述。Pipeline在SCM中的生命周期是如何的呢？它在SCM是如何发挥作用的呢？SCM的P...

2020-02-03 22:24:00 1591

原创 Ozone FileSystem的内部原理实现分析

文章目录前言Ozone FileSystem的简单架构Hadoop FileSystem到Ozone的命名空间的转化Ozone FileSystem的“虚假”目录的处理Ozone FileSystem相关代码实现分析相关阅读前言在前一篇文章中(Ozone作为Hadoop FileSystem的配置使用)，笔者介绍了Ozone作为Hadoop兼容性文件系统来使用的配置说明，也给出了简单的使用例...

2020-02-01 15:31:55 2142

走在前往架构师的路上