- 博客(8)
- 收藏
- 关注
RSS订阅原创 Ozone作为Hadoop FileSystem的配置使用
文章目录前言Ozone FileSystem的Hadoop兼容性文件系统实现原理Ozone FileSystem的配置Ozone FileSystem的使用前言Ozone作为同样隶属于Hadoop大数据生态圈的一个系统，尽管它提供的是K-V对象存储能力，但是它和其它现有的Hadoop生态圈组件之间的结合使用依然十分重要。比如说Ozone是否能够支持Hive，Spark应用程序的文件读写呢？但...
2020-01-31 14:43:52
3035
1
原创 Ozone SCM基于Container/Pipeline管理的架构模式
文章目录前言SCM内部的服务模块划分SCM服务和OM服务的交互过程前言前面笔者写了很多篇关于Ozone OM的相关文章，本文笔者介绍另外一个与此紧密管理的服务SCM服务，一个提供基于Datanode Container容器的中心管理服务。简单地来比喻，现有的HDFS NN服务的角色功能在Ozone中，被完美地拆成了OM+SCM服务的模式。而且这样拆分之后，SCM提供的Container存储服...
2020-01-29 15:39:20
1608
3
原创 Ozone Datanod Container Replication复制过程
文章目录前言Ozone Datanode Container Replication过程前言在分布式存储系统中，为了保证文件数据的冗余性，系统往往会对数据进行多副本的设置保存，比如典型的HDFS三副本文件设置。在Ozone中，同样也有副本的概念，不过它的副本单位粒度比HDFS的Block要粗一些。Ozone的是以Datanode上的Container为粒度，进行Container级别的Rep...
2020-01-27 16:52:23
986
原创 Ozone Datanode启动过程以及心跳汇报过程分析
文章目录前言Ozone Datanode的服务启动前言在之前的文章中，笔者分析过Ozone Datanode内的数据处理过程，包括Container，Chunk文件级别的操作处理逻辑。本文笔者继续阐述Datanode服务内部的另外一部分的处理过程：Datanode服务启动以及心跳发送给SCM服务的过程。了解此本部分过程，能更加地让我们了解Datanode服务的正常运行过程是怎样的。如文章标题...
2020-01-24 14:03:36
4185
原创 Ozone OM服务的HA配置搭建
文章目录前言OM HA的配置初始化OM HA模式下的服务启动OM HA下的CLI命令使用附：OM HA的样例配置前言在上文中，笔者阐述了Ozone OM服务HA的内部机理，但是没有介绍其是如何配置使用的。本文笔者结合自己在测试环境中的HA搭建过程，来补充介绍下这块的实际配置过程以及中间可能存在的坑。想了解OM HA背后更多的原理方面的内容，可阅读笔者的上一篇文章Ozone OM服务HA原理分...
2020-01-22 16:41:02
3673
3
原创 Ozone OM服务HA原理分析
文章目录前言OzoneManager HA的目标OM HA的Raft方式实现前言在分布式系统中，为了避免中心服务节点存在单点问题，我们往往会有HA(High Availability)的防御措施。比如一个简单的HA部署方案，额外在另一个机器上部署一个完全一样的服务。当当前的这个服务出现问题时，能够快速切换到这个用来做HA的服务。HA服务切换本身并不是重点，这里的重点是如何保持HA服务间的状态...
2020-01-16 23:32:09
2165
原创 Ozone数据读取过程分析
文章目录前言Ozone数据的读取过程：基于Block，Chunk offset的数据读取Ozone数据读取相关代码分析前言上篇文章Ozone数据写入过程分析，笔者分享了关于Ozone数据写入的过程分析。本文，笔者来分享对应另外一个过程，数据读取过程的分析。总体来说，Ozone数据的读取和写入过程中，有着部分共同点，都涉及到了Block，Chunk，buffer的概念。论复杂度而言，读取过程还...
2020-01-05 12:18:46
2013
原创 Ozone数据写入过程分析
文章目录前言Ozone Key(文件)数据的写入Ozone Block(Chunk)数据的写出前言上篇文章Ozone Datanode的分布式元数据管理，笔者阐述了关于Ozone Datanode的分布式元数据相关的内容以及Datanode上的数据layout。既然我们了解了Datanode上元数据的结构，那么一个很自然的问题：Datanode如何进行数据的写入的呢？里面的数据一致性是怎么做...
2020-01-02 23:28:21
2196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人