HDFS上传文件流程 ：

最新推荐文章于 2023-10-28 12:58:50 发布
最新推荐文章于 2023-10-28 12:58:50 发布
阅读量3.2k 收藏 10
点赞数 1
分类专栏： 笔记 文章标签： 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bwf317/article/details/110003687
版权

①首先客户端向NameNode发出请求：我要向HDFS传一个数据
②NameNode 收到请求验证此时可以接受上传的数据，然后向客户端返回确认信息OK你准备好就开始吧。
③客户端得到确认后就开始对要上传的数据进行切块处理，blk0,blk1…
④客户端向NameNode通知，我要开始传数据了，告诉我传哪？此时NameNode会检查整个HDFS存储情况，分析确定将blk 存在哪，生成一个虚拟目录进行记录，然后将这个位置信息返回给客户端。
⑤客户端的到具体路径后开始联系DataNode节点，告知将要开始发送数据了，三个DataNode节点相互连通后返回一个信息给客户端告知是否准备好了。
⑥客户端接收到DataNode返回的确认信息后开始将blk以字节流读出——>读出的数据经过打包得到datapackge——>网络输出流传往指定好的DataNode——>DataNode通过网络输入流得到传过来的数据——>再经过本地输出流将数据写到指定的位置
⑦当DataNode将blk存好，副本也存好后就会返回给客户端一个成功信息
⑧客户端接收到成功的信息后再告知NameNode存储完毕
⑨多个blk块并行存储

峰二爷
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HDFS文件上传流程详解
Today_2018的博客
03-19 961
HDFS运行流程图 ​ 首先用户即客户端想要上传文件，就先要给namenode发个请求，告诉它说我要上传文件了（即写数据），然后namenode会返回一个响应，这个响应是namenode根据自身情况，比如会先查一下namenode里面还能存数据吗？能存多少？有几个datanode能存？（心跳信息）然后返回一个可以存储的节点列表，意思是这些里面能存，但不是能存的datanode全部...
【HDFS篇06】HDFS数据读写流程1
08-04
1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件 2. NameNode返回是否可以
Hadoop之HDFS上传数据流程，简单明了
weixin_48810293的博客
08-16 1051
简单描述HDFS上传数据的流程并附简易图： HDFS上传文件流程（写数据流程）： 1.比如客户端现在需要上传一个300M的文件，客户端得先请求namenode，告诉它我要上传这个300M的文件。 2.namenode会根据datanode注册时汇报自己的存储状态来判断客户端能否上传，能的话会返回一个OK给客户端。 3.这是客户端会根据自己的文件大小物理切快（默认以128M切割），再请求namenode，请求上传第一块数据。 4.namenode收到请求后会根据datanode的存储状态，向客户端返回可用的三
hdfs文件上传流程
张之海的博客
06-10 4801
1 文件上传 1.1 文档 1.2 课程 2 文件下载 2.1 视频课程 2.2 文档
HDFS上传文件的过程
dasuhu的博客
02-21 3440
hdfs上传文件的过程
（面试经典问题）HDFS上传文件（写）流程
xingyunyang的博客
08-12 4309
HDFS写流程详述，以及面试如何回答
HDFS文件上传流程
热门推荐
Gscsd的博客
04-15 1万+
HDFS运行流程图（图是盗的）      首先用户即客户端想要上传文件，就先要给namenode发个请求，告诉它说我要上传文件了（即写数据），然后namenode会返回一个响应，这个响应是namenode根据自身情况，比如会先查一下namenode里面还能存数据吗？能存多少？有几个datanode能存？（心跳信息）然后返回一个可以存储的节点列表，意思是这些里面能存，但不是能存的datanode全部...
hadoop中hdfs上传数据的基本流程
qq_44350553的博客
09-20 2804
hadoop中hdfs上传数据的基本流程 1.首先hdfs客户端请求上传一个文件（假设为a.txt(300M)),这条请求会发送给namenode服务器，由namenode服务器校验，发送该请求的客户端是否有权限上传文件，以及确认datanode是否有足够的空间来存储这个文件以及它的副本。 2.如果这两个条件都能满足，namenode服务器则会发送响应OK的消息给客户端。 3.hdfs客户端接收到OK的响应过后，会向namenode请求上传第一块数据。 4.namenode服务器接收到请求后，会返回原数据信
HDFS工作流程和机制
最新发布
qq_45789558的博客
10-28 386
HDFS在上传文件写数据过程中采用的一种传输方式。在数据通信中，接受方发给发送方的一种传输类控制字符。表示发来的数据已经确认接受无误。在HDFS Pipeline管道传输数据过程中，传输的反方向会进行ACK校验，确保数据传输安全。默认副本存储策略是由指定第一块副本：优先客户端本地，否则随机第二块副本：不同于第一块副本的不同机柜第三块副本：第二块副本相同机架不同机器。
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.3.7. 编写Java代码——文件上传 27 4.3.8. 编写Java代码——删除文件夹 30 4.3.9. 编写Java代码——重命名文件 31 4.3.10. 编写Java代码——遍历文件夹 32 4.4. HDFS写数据流程 34 4.5. HDFS读数据流程 35 4.6. ...
kafka2hdfs_CodingPark
05-16
主要完成 kafka 生产数据、接数据 、通过Java代码上传数据的完整流程 文件包括：hdfstest.java、kafkatest.java、Producer.java、NewConsumer.java、NewConsumer2HDFS.java
【4】HDFS 的数据流
01-07
一、HDFS 写数据流程 剖析文件写入 HDFS 写数据流程。 1）客户端通过Distributed FileSystem模块向NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 2）NameNode 返回是否可以上传。 3）...
【Linux】Shell定时采集数据至HDFS
01-09
假如有这样的需求：要求在凌晨24点开始操作前一天产生的日志文件，准实时上传至HDFS集群上。 该如何实现？实现后能否实现周期性上传需求？如何定时？ 我们可以利用定时任务+shell脚本来完成！！！ 实现流程 一般...
Hive中查询当月第一天的函数trunc()
bwf317的博客
12-03 9106
查询当月第一天 例： select trunc(‘2020-12-03’，‘MM’) – ‘2020-12-01’ 查询当前季度第一天 例： select trunc(‘2020-12-03’，‘Q’) – ‘2020-10-01’ 查询当年第一天 例： select trunc(‘2020-12-03’，‘YEAR/Y/YYYY’) – ‘2020-12-01’ ...
clickHouse-高阶函数arrayMap()
bwf317的博客
12-08 6100
arrayMap(参数1，参数2) 参数1：参数1是一个函数，规定了对数组中元素的操作行为 参数2：是一个数组 例：arrayMap(x->x*10,[1,2,3,4]) x表示数组中每一个元素， ->后面的表达式表示对数组中每一个数据的操作 （ 这里将x替换成y，依然能实现功能，所有x只是一个代理符号可以替换成其他的符号） 把数组中每个数乘以10 SELECT arrayMap(y -> (y * 10), [1, 2, 3, 4]) ┌─arrayMap(lam
clickHouse-高阶函数arrayCount()
bwf317的博客
12-08 3080
clickHouse-高阶函数arrayCount()求数组中元素的个数 SELECT arrayCount(x -> x, [1, 2, 3, 4])； ┌─arrayCount(lambda(tuple(x), x), [1, 2, 3, 4])─┐ │ 4 │ └───────────────────────────────────────────────┘ 1 rows in set. Elaps
clickhouse-集成引擎，从HDFS,MySQL,Hive等数据源中读取数据
bwf317的博客
12-07 2434
HDFS引擎 在CH中创建HDFS 表引擎，就可也把HDFS 中的数据映射到创建的表中，对表中数据进行操作。 创建HDFS引擎： create table tb_ch_hdfs( uid String, name String, city String, age UInt8 )engine =HDFS(“hdfs://linux01:8020/ch/data/”,“CSV”) --文件路径（可以用/*.CSV指定文件夹下多个文件） 文件格式 MySQL数据库引擎，和MySQL表引擎 M..
Hive入门操作-通过Hive中SQL读取hdfs中数据
bwf317的博客
11-28 2157
第一步：创建文件夹写结构化数据。然后上传到hdfs 第二步:根据结构化数据在HIVE中创建对应的表 create table tb_log( id int, name string, age int , gender string ) //指定数据以什么分割 row format delimited fields terminated by ‘,’ //指定存在hdfs中数据的位置 location ‘hdfs://linux01:8020/data/log/’; //在hive中用SQL语言操作数据求各性
简述hdfs上传文件流程
06-10
HDFS上传文件的流程如下： 1. 客户端向NameNode发出上传请求，并提供要上传的文件路径和文件块大小等信息。 2. NameNode接收到客户端的上传请求后，首先检查该文件是否已经存在于HDFS中，如果存在则返回错误信息，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值