【精】彻底吃透HDFS写流程（2）-- Namenode侧create文件

最新推荐文章于 2023-06-24 10:38:08 发布
最新推荐文章于 2023-06-24 10:38:08 发布
阅读量735 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/121891693
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细介绍了HDFS文件创建过程中Namenode侧的逻辑，包括通过HdfsFileStatus接口创建文件，create RPC的执行过程，以及创建文件时的权限和覆盖行为等细节。解析了FSDirWriteFileOp.resolvePathForStartFile方法，讨论了INodesInPath对象的作用，并阐述了文件默认权限和覆盖策略。
摘要由CSDN通过智能技术生成

有关HDFS写流程的系列文章：
【精】彻底吃透HDFS写流程（1）–BlockConstructionStage
【精】彻底吃透HDFS写流程（2）-- Namenode侧create文件
【精】彻底吃透HDFS写流程（3）-- DataStreamer线程和输出流write方法简要分析
【精】彻底吃透HDFS写流程（4）-- 输出流DFSOutputStream#write方法分析
【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？
【精】彻底吃透HDFS写流程（6）-- addBlock RPC
【精】彻底吃透HDFS写流程（7）-- 客户端sendPacket以及相关输入输出流的对应关系

了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【精】彻底理解HDFS写文件流程
Badme
08-18 282
本文包含如下内容： ① Pipeline的建立过程，以及下游节点如何给上游节点发Ack ② DFSOutputStream、DataStreamer的原理 ③ Sender、BlockReceiver、PacketResponder的原理 作为引子，先从最上游谈起： 我们使用HDFS API创建文件，写文件时，首先会调用FileSystem的create方法，获得一个FSDataOutputStream流，然后通过用这个流来write数据即可。 别看API这么简单，这后面发生的事情可是十分复杂！比如这后面涉
【Hadoop】HDFS - 创建文件流程详解
浩然之气,兼容并蓄 http://blog.csdn.net/gsky1986
05-08 3688
1.本文目的通过解析客户端创建文件流程，认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode（NN）：HDFS系统核心组件，负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式，一般的HDFS系统就只有1个NameNode，当然这样是存在单点故障隐患的。NN管理两个核心的表：文件到块序列的映射、块到机器序列的
HDFS写流程源码分析（二）-NameNode服务端
最新发布
qq_44753451的博客
06-24 1092
环境为hadoop 3.1.3。
（六）HDFS写流程之初始化工作
weixin_37850264的博客
01-10 433
文章目录总体流程Demo 总体流程 Demo public class FileTest { public static void main(String[] args) throws IOException { //如何创建一个目录 Configuration configuration=new Configuration(); //namenode FileSystem fileSystem=FileSystem.newInstance(configuration); //
HDFS之NameNode的实现
kaikai_sk的博客
03-19 768
1. 文件系统的目录树 1.1. INode abstract class INode implements Comparable<byte[]> { //文件/目录名称 protected byte[] name; //父目录 protected INodeDirectory parent; //最近一次的修改时间 protected long modifi...
【精】彻底吃透HDFS写流程（1）--BlockConstructionStage
Badme
12-12 666
【精】彻底吃透HDFS写流程（1）--BlockConstructionStage
【精】彻底吃透HDFS写流程（8）-- 数据真正落盘
Badme
12-22 716
【精】彻底吃透HDFS写流程（8）-- 数据真正落盘
hdfs-over-ftp安装包及说明
12-08
2. "hdfs-over-ftp-hadoop2.tar.gz"：这可能是一个针对Hadoop 2.x版本的压缩包，包含了所有必要的二进制文件、配置示例、脚本等，用于在运行Hadoop 2.x集群的环境中部署hdfs-over-ftp服务。 3. "hdfs-over-ftp-...
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
04-29
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
flink开发落到hdfs文件处于in-progress状态文件处理办法
10-31
flink开发Streaming File sink文件处于in-progress中间状态处理办法，hadoop,hdfs
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
标题 "hdfs-over-ftp-hadoop-0.20.0.rar" 提示我们关注的是一个关于将HDFS（Hadoop Distributed File System）与FTP（File Transfer Protocol）整合的项目，特别适用于版本0.20.0的Hadoop。这个项目可能提供了在...
HDFS入门笔记------架构以及应用介绍
02-25
本篇博客将从以下几个方面讲述HDFS：1、分布式文件系统与HDFS2、HDFS的体系结构3、HDFS—-NameNode相关概念4、HDFS—-DataNode相关概念5、HDFS—-block块相关概念6、HDFS—-副本数相关概念7、HDFS的具体操作方式①...
【BugFix】IDEA控制台无输出问题的解决
Badme
10-20 4271
【BugFix】IDEA控制台无输出问题的解决
【HDFS】简要了解HDFS的预读（read-ahead）机制
Badme
04-02 4176
【HDFS】简要了解HDFS的预读（read-ahead）机制
【YARN】（1）-- 整体架构、RM、NM、AM等基础组件快速理解
Badme
04-10 2865
【Apache Hadoop YARN】-- 整体架构、RM、NM、AM等基础组件快速理解
【精】HDFS Balancer原理、参数详解
Badme
02-18 2793
【精】HDFS Balancer原理、参数详解
聊聊分布式存储系统中的心跳机制以及主节点下发指令给从节点
Badme
11-28 2724
心跳( heartbeat )是分布式系统中常用的技术。顾名思义，心跳就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳，一般可以认为发送心跳的这个节点在当前的网络中状态是良好的。 同时分布式存储系统中经常会采用master-slave架构（也即主从架构），从节点通常会使用心跳技术向主节点汇报自身的健康状况，或者其他请求，主节点处理接收到的心跳信息，并响应给从节点一些操作指令，从节点收到这些操作指令后，会进行相应的操作。今天这篇文章就来分析总结一下这个实现方案。 一、 概述 先总结一下如何基于心跳机
【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解
Badme
03-20 2545
【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值