- 博客(5)
- 收藏
- 关注
RSS订阅原创 HDFS大目录文件删除方案的实践思考
文章目录前言HDFS的大目录删除行为HDFS大目录删除实现方案思考引用前言前面几篇文章笔者讲述了2篇关于文件目录删除的相关文章，也提到了一些相对应的解决方案和思路。不过笔者本文想再谈谈对于这个问题的一些思考，主要关注在HDFS下大目录的删除性能影响方面。不敢说是谈论的是HDFS大目录删除的最佳实践方案，但是在某些点上，在实际环境中还是有一定的可应用性的。本文部分内容会引入笔者前段时间写的两篇...
2020-04-26 23:34:07
1585
原创 Ozone SCM HA设计浅谈
文章目录前言SCM HA相较于OM HA的区别点SCM HA服务内存状态数据一致性的控制Follower SCM内部管理服务的“失效”处理SCM HA failover行为处理SCM HA的整体架构图引用前言在前面的文章中，笔者写过关于Ozone OM HA实现的相关文章(Ozone OM服务HA原理分析)，里面谈论了目前OM HA的一些实现细节以及OM HA如何搭建这类的说明性文章。但是一...
2020-04-21 23:17:31
1181
原创 文件系统大目录下的操作性能效率提升
文章目录前言现有HDFS大目录文件操作效率基于哈希分区的多List目录存储结构HashedArrayList的element的索引查找HashedArrayList的代码实现HashedArrayList性能测试引用前言在文件系统的存储中，我们一般不建议是一个目录下存放过多的文件或子目录。因为这会造成后续在此目录下文件或子目录的操作效率。我们宁愿用分散存储的方式，也比用集中在一个目录下的方式...
2020-04-11 18:08:21
1948
原创 一个SkipList简单跳表的实现
文章目录前言SkipList样例结构SkipList样例代码简单实现前言上一篇文章笔者写了关于HDFS使用SkipList跳表的结构来加速Snapshot的diff比较过程，然后加速HDFS大Snapshot删除的过程（此部分文章可阅读上篇博文：聊聊HDFS删除Snapshot行为导致的NameNode crash）。本文笔者想继续聊聊这个跳表结构，简单说就是构造多链表层级结构，利用(数据存...
2020-04-04 11:44:15
611
原创 聊聊HDFS删除Snapshot行为导致的NameNode crash
文章目录前言HDFS的Snapshot以及delete Snapshot行为基于SkipList的Snapshot diff预先合并引用前言关于HDFS的快照，使用过的同学对于这个功能还是持正面评价居多的吧。这个特性所能带给我们最大的好处就是防止用户误删数据导致数据丢失的问题了。从数据保护层面而言，HDFS Snapshot确实起到了十分关键的作用。但是话虽然是这么说，那么如果我们想确保集群...
2020-04-01 22:45:16
1027
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人