一个用户访问HDFS需要经过的流程

最新推荐文章于 2024-06-30 18:06:15 发布
最新推荐文章于 2024-06-30 18:06:15 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38234890/article/details/80860168
版权
本文详细介绍了用户访问HDFS的步骤，包括客户端通过DistributedFileSystem API请求Namenode获取block位置，Namenode返回block信息，客户端并行读取DataNode上的block，以及NameNode、DataNode和SecondaryNameNode在系统中的角色和职责。
摘要由CSDN通过智能技术生成

1、客户端发送请求，调用DistributedFileSystem API的open方法发送请求到Namenode，获得block的位置信息，因为真正的block是存在Datanode节点上的，而namenode

最低0.47元/天 解锁文章
小管01
关注
专栏目录
HDFS --访问(一)
小于号的专栏
03-24 1万+
Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。 先看第一种。 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm
Hdfs 客户端读过程 源码解析
METON的博客
08-12 918
说到hdfs文件系统上的读文件流程，相信大家都不会陌生，都会知道读取文件的过程如下的示意图： 客户端读过程示意图： 其基本的读取流程如下： 客户端通过调用FileSystem对象的open()方法来打开hdfs上的文件，这个方法在底层会调用ClientProtocol.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStream是一个DFSInputStream的装饰类，真正进行数据块读取操作的是DFSInputSt...
HDFS文件系统操作命令，以及HDFS WEB浏览
最新发布
qq_65231448的博客
06-30 1222
关于HDFS文件系统的操作命令，Hadoop提供了2套命令体系hadoop命令（老版本用法），用法：hadoop fs [generic options]hdfs命令（新版本用法），用法：hdfs dfs [generic options]两者在文件系统操作上，用法完全一致 用哪个都可以 ，某些特殊操作需要选择hadoop命令或hdfs命令，自行选择。1、创建文件夹path 为待创建的目录 -p 选项的行为与Linux mkdir -p一致，它会沿着路径创建父目录。
2020-11-03
weixin_48124265的博客
11-03 100
1. 权限简介 文件的权限主要针对三类对象进行定义： 属主 u 组 g 其它 o 所有组 a r 文件 可读，可以使用类似cat等命令查看文件内容 w 文件 可写，可以编辑或删除此文件 x 文件 可执行，eXacutable，可以在命令提示符下当作命令提交给内核运行 r 目录 可以对此目录执行ls以列出内部的所有文件 w 目录 可以在此目录中创建文件，也可删除此目录中的文件 x 目录 可以使用cd切换进此目录，也可以使用ls -l查看内部文件的详细信息 ** 2. 权限
HDFS概述和Shell操作
weixin_30914981的博客
08-15 231
大数据技术之Hadoop（HDFS） 第一章 HDFS概述 HDFS组成架构 HDFS文件块大小 第二章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 $ bin/hadoop fs [-appendToFi...
07. HDFS主要流程之客户端读流程
ZJ__ZFH的博客
12-12 340
主要流程如下图所示 8. HDFS主要流程之客户端读流程.png 分为如下几个步骤 打开HDFS文件 HDFS客户端首先调用DistributedFileSystem.open()方法打开HDFS文件，这个方法在底层会调用DFSClient.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStre...
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1175
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
01-20
4. 统一命名空间：HDFS提供了一个类似Unix的目录树结构，客户端通过路径（如`hdfs://namenode:port/path`）来访问文件。 【HDFS的读写流程】 1. 写入流程：客户端首先与NameNode通信，获取目标文件的Block信息。...
3.HDFS读写流程
iyak78的博客
12-24 1249
HDFS读写流程
深入分析HDFS原理及读写流程
静待花开
03-12 8361
本文目录一、架构体系1.1、什么是HDFS？1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点 一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave...
Hadoop大数据技术-通过shell命令访问HDFS
qq_53315104的博客
10-24 3189
通过shell命令访问HDFS
hadoop的基本操作 第一章 使用常用的Shell命令访问HDFS
huanbianyunluo的博客
12-03 5870
前言 理解HDFS在Hadoop体系结构中的角色； 使用常用的Shell命令访问HDFS； 提示：以下是本篇文章正文内容，下面案例可供参考 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 前提准备 进入实验环境后，需要通过jps命令确认hadoop环境是否已启动 如果出现这上图情况说明还没有hadoop未启动，接下来我们便需要启动Hadoop cd /opt/hadoop/sbin hadoop namenode -format ./start-all.sh 启动之后输入
Hadoop（三）HDFS
ks_1998的博客
03-03 1907
Hadoop（三）HDFS
Hadoop集群中如何通过web访问HDFS（以及上传下载测试）
Sansuiban54的博客
12-18 1917
一共有几小部分组成，但是前提你得先在集群系统的。在输入命令后，在下方找到。，后面的就是你的ip地址。
黑马大数据学习笔记2-HDFS基本操作
weixin_45735391的博客
07-17 1361
HDFS基本操作
HDFS的两种访问方式
weixin_44943389的博客
04-08 322
shell java api 常用的操作类 configuration：封装了客户端或者服务器的配置 filesystem：对象是文件系统对象，通过静态方法获得filesystem对象 输入流输出流 fsdatainputstream fsdataoutputstream
HDFS的访问方式之HDFS shell的常用命令
BADAO_LIUMANG_QIZHI的博客
08-03 2594
场景 CentOS7上搭建Hadoop集群(入门级)： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭建起来Hadoop集群的基础上，通过HDFS shell的方式访问HDFS的常用命令。 HDFS的访问方式有两种:一种是HDFS shell，一种是Java API方式。HDFS shell命令应 使用hadoop fs或hdfs dfs(其中官网建议使用hdfs dfs方式访问)。所有的HDF...
HTTP方式在线访问Hadoop HDFS上的文件解决方案
Alex的博客
04-28 2140
为了通过HTTP方式在线访问HDFS上的文件，您可以利用WebHDFS REST API或者HttpFS Gateway这两种机制实现。 1：httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口，通过WebHDFS REST API 可以对hdfs进行读写等访问2：与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点，通过httpfs可以访问放置在防火墙后面的hadoop集群3：httpfs是一个Web应用,部署在内嵌的tomcat中。
HDFS文件读写流程解析
4. 读取到的数据会被暂存到客户端的缓存中，然后写入本地磁盘，供用户访问或进一步处理。 通过以上流程，HDFS保证了文件在分布式环境中的高效读写。这种设计使得HDFS能够处理大规模的数据，同时保证了数据的可靠性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值