- 博客(8)
- 收藏
- 关注
RSS订阅原创 Ozone Datanode的分布式元数据管理
文章目录前言Ozone的分布式元数据Ozone Datanode数据的layout前言众所周知，当元数据空间达到一个比较庞大的规模量级的时候，HDFS会遇到一定的扩展性问题。首先HDFS将这些元数据INode信息都load在内存中进行管理，而且还有附属相关的mapping信息，这些庞大的信息被HDFS的NameNode所管理。相应地，NameNode也将会面临更大规模量级的请求处理。从更本质...
2019-12-28 22:10:18
1928
原创 聊聊Ozone的Topology Awareness
文章目录前言HDFS的Topology AwarenessHDFS Topology的层级，距离定义问题Ozone的Topology Awareness前言众所周知，在大规模分布式存储系统中，数据往往通过多副本的形式来保持其可用性。但是多副本如何进行位置放置又是一项值得深挖的领域。至少我们总不能将所有副本都放在一台机器这样的极端情况。对于副本数据的放置，其实涉及到的考量因素还是比较多的，副本...
2019-12-23 23:24:02
926
原创 Ozone数据探查服务Recon的启用
文章目录前言Ozone Recon服务的启用前言笔者之前写过一篇关于Ozone数据探查服务Recon的文章：存储系统“数据之眼”的设计–数据探查服务，大致阐述了Recon如何通过定期获取OM的快照来做数据的二次分析的过程。不过笔者当时没有介绍Recon服务如何被启用的过程，以及此服务被启用后，它的内部运行过程是如何的。本文笔者来补充介绍下这块的内容。Ozone Recon服务的启用Oz...
2019-12-16 22:43:43
1630
1
原创 Ozone Insight工具的使用
文章目录前言Ozone的Insight视角Ozone的insight工具命令的使用引用前言分布式系统的运行过程比一般的企业级系统要复杂许多，里面会牵扯到很多服务的调用以及复杂的并行逻辑处理。因此对于分布式系统的问题研究分析，并不是一件简单的事情。但是如果我们有一些路径能够知道它里面运行的一些情况，比如关键metric指标等等，这会给我们带来很大的帮助。现有的许多系统提供的最多的可供外界使用的...
2019-12-14 16:56:14
1193
原创 Ozone Native ACL的应用
文章目录前言Ozone Native ACL的Access Type前言Ozone作为对象存储系统，它在权限访问这块用的是ACL的管控方式，而不是采用文件系统UGO(User-Group-Others)的方式。不过Ozone对传统ACL进行自定义的一些扩展，除了基本的READ, WRITE,访问权限外，还细分出了DELETE,LIST等等权限。本文笔者来简单聊聊Ozone的native AC...
2019-12-11 23:51:27
1209
原创 Ozone Audit Log解析工具的应用
文章目录前言Ozone的OM, SCM服务的audit log格式OM, SCM服务audit log的loadOM, SCM服务audit log的query和template query引用前言熟悉HDFS的同学可能经常会使用到audit log文件做问题的tracking。说起audit log，它的作用可不小，它按照时间顺序精确地记录了每次的请求操作。通过这些精确的记录，我们得以精确...
2019-12-08 11:57:47
1090
原创 Ozone数据探查服务Recon2.0设计
文章目录前言现今Ozone Recon的功能以及2.0版本的目标SCM Container的track实现方法一: 在SCM中新增实现API来获取丢失，损坏的Container数据前言在之前笔者写过一篇关于Ozone数据探查服务Recon的文章.Recon作为一个系统内部数据探查服务，它通过定期同步OM元数据，然后做内部的智能化分析(内部做数据聚合计算等等)，可以帮助管理员方便了解系统内的数...
2019-12-03 23:55:32
1182
原创 聊聊关于YARN的全局调度
文章目录前言带有约束限制的调度全局调度的要求全局调度的流程前言在YARN调度的早期实现中，调度的方式是基于NM节点的心跳来的。简单来说，就是每当一次节点的心跳来的时候，YARN scheduler会进行一次container分配尝试，然后将最适合分配的应用container分配在此节点上。这种一个节点一次的调度方式在决策选择上确实比较高效，但在某些场景上并不显得最优，比如带有约束条件的cont...
2019-12-01 12:56:29
1301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人