HDFS
凡哲_Lucas
Apache Hadoop Committer
Apache Yunikorn Committer
展开
-
趣头条百PB规模 Hadoop实践(HDFS篇)
趣头条HDFS实践技术背景第一阶段NameNode负载和扩展性问题拆RPC端口以及拆NameSpace组成FederationBalancer负载转移和搬迁优化拆分日志相关的NameSpace降低负载NameNode拥塞控制异步化各种操作提高NameNode的吞吐量业务控制和作业追踪第二阶段用户体验和运维便利性自研 HDFS ProxyHDFS Router 改进和开发HDFS Router re...原创 2020-04-02 14:36:00 · 3008 阅读 · 0 评论 -
HDFS 读写分离 (源码分析1 :支持从Standby Namenode读)
背景读写分离架构篇HDFS 读写分离(总体架构介绍),我们综述了需要怎么实现读写分离。我们深入了解了社区现在正在实现和完善的方式,就是支持从Standby Namenode(SBN)进行读,而从Active Namenode(ANN)进行写,从而实现HDFS的读写分离,提高NameNode整体的读写性能和吞吐量。而从本章开始,我们就从源码的角度对其实现进行分析和研究。本篇为源码分析的第一篇,介...原创 2019-11-22 23:36:30 · 1451 阅读 · 0 评论 -
HDFS 读写分离(总体架构介绍)
为什么HDFS需要读写分离当前架构:目前HDFS在HA模式下的架构图如如下:HA同步机制简单介绍:客户端读写都通过RPC连接Active Namenode进行操作,Standby Namenode不具有读写的功能只负责同步操作记录(Editlog)。Editlog是Active Namenode通过RPC写到由PAXOS协议实现的一组Journalnode,然后Standby Namen...原创 2019-11-13 23:36:10 · 1609 阅读 · 2 评论