2020年05月_Android路上的人

原创 HDFS和Ozone的数据删除原理对比思考

文章目录前言现有HDFS删除操作的性能问题HDFS删除操作的brainstorm改进想法相关设计：Ozone系统内的删除操作处理前言前段时间笔者一直在折腾HDFS大目录删除的性能问题，也尝试了很多不同的方案来降低大目录删除所带来的性能影响，包括改INodeDirectly内部child list结构，或者是在Snapshot层面做改进优化等等（详见此文章：HDFS大目录文件删除方案的实践思考）。不过后续笔者在对比HDFS的删除操作和新一代存储Ozone系统内部的删除操作时，发现二者还是存在不少区别的，

2020-05-31 17:17:59 1274 1

原创提高RPC Server throughput的请求延时回复处理

文章目录前言前言在一套完整的分布式系统中，client端向server端发起一个请求，然后client等待此请求被server端处理完毕，然后接受到serve的返回结果。自此一个请求就算作是被处理完了。这种block等待处理结果的请求处理行为在我们日常的系统中十分的常见。但是这种处理方式的一个明显弊端是，未处理完成的请求势必会占住server端的处理资源。因此一般常见的改进做法是提高server端的Handler数量，来提高服务端的请求并发处理能力，这种做法是比较简单直接的。但其实这里还有另外一个方向

2020-05-24 23:40:18 957

原创分布式系统内部RetryCache机制

前言在分布式系统的运行过程中，出现网络不稳定（例如网络超时)导致的client请求回复超时是时有发生的事。在这种低概率发生的情况下时，client端其实是无法感知它的请求是不是真正的被处理了，它只能是基于坏的情况（即请求没被server处理的情况)，然后执行重试操作。问题就出现在这里，对于某些非幂的操作而言，操作重试是会返回不同的结果的。这个时候，其实server端不应该执行client端发起的第二次请求的，假设server已经成功处理了client的第一次请求。本文我们就来聊聊针对非幂等操作处理的Re

2020-05-17 10:28:15 959 2

原创 HDFS federation集群间的数据Balance工具方案

文章目录前言粗粒度的federation Balance方案系统化的federation Balance工具方案引用前言在目前单一大HDFS集群越来越无法支撑我们的业务场景时，越来越多的公司开始考虑采用HDFS federation方案来做。这里就自然会衍生出一个问题：新federation出来的Namespace，我如何将数据从原集群（NameNode）同步出来呢？而且在这个过程中，还会有每天增量数据的写入在老集群内。假若只是静态的数据，我们启动一个distcp任务就可以做这部分跨namespace

2020-05-09 11:49:24 1239

走在前往架构师的路上

原创 HDFS和Ozone的数据删除原理对比思考

原创提高RPC Server throughput的请求延时回复处理

原创分布式系统内部RetryCache机制

原创 HDFS federation集群间的数据Balance工具方案

原创 Hadoop ViewFs的多Replication模式：Nfly link模式

原创 Hadoop ViewFs允许hdfs schema的重载

原创 Apache Ratis中的multi-raft实现原理

空空如也

空空如也