hdfs源码分析
文章平均质量分 90
以实战为线索,逐步深入各个细节
MyObject-C
从事于游戏、广告、推荐、金融交易相关后台开发
展开
-
hdfs写磁盘及jnode
namenode rpc server: mkdirs:细化logEdit FSDirectory.getEditLog(),即FSEditLog-》logMkDir-》logEdit-》 满足可写入状态后,如果自动同步标识isAutoSyncScheduled为true,则阻塞; 自增txid,赋给线程本地变量,FSEditLogOp设置txid,EditLogOutputStream.wirite(op); JournalSetOutputStream.write-》获取journal的...原创 2021-06-17 10:41:46 · 142 阅读 · 0 评论 -
hdfs客户端及元数据
元数据: 创建目录: 先看FileSystem类,发现本地实现看LocalFileSystem,分布式实现看DistributedFileSystem,我们看分布式的; mkdirs-》mkdirs-》primitiveMkdir-》namenode.mkdirs,namenode是客户端代理,接下来看namenode rpc server; namenode rpc server: mkdirs: FSNamesystem.mkdirs ...原创 2021-06-04 10:08:54 · 122 阅读 · 0 评论 -
hdfs架构与使用以及启动流程
hdfs架构: Haoop1存在的问题: name node 单点故障 name node内存受限 如何解决单点故障: 自然而然会想到,再加一个name node节点,但是,他是有状态的,那么就需要数据同步,可以直接交互同步,但是为了解耦合,易扩展,我们引入QJM ...原创 2021-05-25 09:40:11 · 95 阅读 · 0 评论