2.4)HDFS的读写流程

最新推荐文章于 2024-09-05 09:02:10 发布
最新推荐文章于 2024-09-05 09:02:10 发布
阅读量120 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38092788/article/details/119888969
版权

1.HDFS写数据的流程

在这里插入图片描述

2.网络拓扑-节点距离计算

2.1在HDFS写数据的过程中，NameNode会选择距离待上传数据据最近的距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和。
把连接每节点的 线加一起就好啦。
在这里插入图片描述
在这里插入图片描述

3.机架的感知

3.1副本节点选择

在这里插入图片描述

4.HDFS的读数据流程在这里插入图片描述

MM-BD
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HDFSDataNode磁盘IO优化：提升数据读写效率
程序员光剑
06-01 925
HDFSDataNode磁盘IO优化：提升数据读写效率 1.背景介绍 1.1 HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop框架的核心组件之一,是一个高度容错的分布式文
3_HDFS读写流程及一致性模型
nothair的博客
03-01 829
2020/12/7 sunhaiqi@bonc.com.cn 文章目录一、HDFS中的数据写入读出原理1.1、HDFS写数据流程1.2、HDFS读数据流程二、HDFS文件系统的一致性2.1、从客户端解读文件系统一致性2.2、从服务端解读文件系统一致性2.3、文件系统的一致性模型 一、HDFS中的数据写入读出原理 1.1、HDFS写数据流程 hadoop fs -put /home/bduser/xxx.txt /animals/tiger/ 当我们执行上面这条语句时，集群将执行以下几个步骤（以一台Name
HDFS读写流程
ifeng
01-22 541
文章目录1 读2 写 1 读 Client 访问NN 查询元数据信息，获得这个文件的数据块位置列表(小部分) ， 返回输入流对象 client 调用FileSystem的open方法 2 写
3.HDFS读写流程
iyak78的博客
12-24 1246
HDFS读写流程
HDFS的读写流程
zjfstart的博客
10-22 210
这里写目录标题HDFS的读写流程HDFS写流程（上传流程）HDFS读流程（下载流程） HDFS的读写流程 HDFS写流程（上传流程） 需要的东西：要上传的文件、客户端Client、NameNode 首先，需要在客户端Client上创建一个分布式文件系统的对象（DistributedFileSystem），然后客户端申请向NameNode上传文件，NameNode会向客户端响应是否可以上传文件。(判断的标准：要申请的上传文件的目录不存在，且具有写权限) 紧接着，客户端会开一个HDFS的输出流叫做FSDat
HDFS详解二之HDFS读写流程
大门的博客
07-13 280
1.HDFS写流程 写的过程对于我们操作者而言，是无感知的。 流程图如下： 1.1 用HDFS client执行命令的时候，比如hdfs dfs，java代码，scala代码等，实际上它调用的是分布式文件系统（DistributedFileSystem)（它是一个api，是一个对象）。 1.2 Client调用FileSystem.create(filePath)方法, 与NN进行【rpc】通信...
HDFS读写流程详解：数据交互与传输机制
Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Apache Hadoop生态系统的核心组件之一。HDFS是一个可扩展的、容错的、高可用性的分布式文件系统，设计用于存储和处理大规模数据集。它通过将...
Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式
wjw0806的博客
12-08 422
Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式Hadoop的认知1.副本放置策略2.HDFS写流程3.HDFS读流程4.pid文件5.hdfs dfs常用命令6.多节点，单节点的磁盘均衡7.安全模式 Hadoop的认知 1.副本放置策略 共计3个副本 第一个副本：假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁...
Maxwell 学习总结
lucky_love816的博客
09-03 469
目录下，如果当前尚未对库做任何修改，则 binlog 文件大小一定为 154 字节，每次重启 MySQL 都会生成新的 binlog 文件，mysql-bin.index 文件内记录了当前使用的 binlog 文件名称。此时在数据库中修改的数据，会被 Maxwell 监听到并发送到 Kafka Broker，Kafka 消费者会订阅到所有 Maxwell 发送的内容。可以看到，即便是一条 sql，Maxwell 也将会返回多条 json，每条 json 对应一条记录。，同时多条 json 的。
高校为什么需要AIGC大数据实验室？
tipdm0301的博客
09-03 473
AIGC大数据实验室是一个专注于人工智能生成内容（AIGC）和大数据相关技术研究、开发与应用的创新实验平台。
数据仓库技术选型方案文档
HumorChen的博客
09-03 2799
Flink CDC 是 Flink 的子项目，是 Flink 的一组原连接器，用于 CDC 从不同数据库接收/更改数据，Flink CDC 将 Debezium 集成为引擎，异步或数据更改，因此 Flink CDC 可以充分使用和发挥 Debezium 的能力，并且可以无缝对接 Flink 使用其 SQL API 和 DataStream API 的能力，最终写入各种数据源。它基本能够满足各种数据分析类的场景，并且随着数据体量的增大，它与Spark、Impala、Kylin对比，优势也会变得越为明显。
Docker
m0_61924236的博客
08-30 1448
在自定义网络中，可以给容器起多个别名，默认的别名是容器名本身- 在同一个自定义网络中的容器，可以通过别名互相访问飞书文本。
kafka3.7.1 单节点 KRaft部署&测试发送和接收消息
srebro | 博客
09-02 407
kafka3.7.1 包下载地址： https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2 下载地址： https://mirrors.nju.edu.cn/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz。
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
最新发布
永远好奇，无限进步！
09-05 1173
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interval）不断地划分数据，并对每个窗口内的数据进行聚合计算。窗口长度固定，可以有重叠。场景：我们可以每30秒计算一次最近一分钟用户购买的商品数 基于事件驱动 会话窗口 由一系列事件组合一个指
大数据系列之：OutOfMemoryError: unable to create new native thread
zhengzaifeidelushang的博客
09-02 172
接下来，您可能会想知道Java中的堆栈大小是否设置得太高。如果设置的限制很高，那么如果您是为正确的用户执行此操作，则可能不会达到此限制。您必须是运行的进程的相同用户。通常情况下，这不是内存溢出的情况，这可能会产生误导。在Linux上还有一种称为cgroups的方式，可以实现上述相同的功能。有时候当Java尝试创建一个新的线程时，操作系统会阻止它。第一种老式方法是检查您的 ulimit。根据配置方式的不同，有两种方法可以更新最大任务限制。通过在这两个位置上删除设置的值，实际上可以移除限制。
聚焦数据，探索分布式数据库与湖仓一体的前沿应用
qq_22201881的博客
09-04 1658
陈潜龙在演讲时引用了信通院对未来数据库技术发展划分的九个方向和四大目标，提出融合，即架构融合，利用统一架构代替混合架构和平台融合，统一数据湖、数据仓库、数据集市才是数据平台架构的发展趋势。高经郡表示，Lakehouse湖仓一体是一种新型开放式架构，充分结合数据湖和数据仓库的优势，并构建在数据湖低成本的数据存储架构之上，它继承了数据仓库的数据处理和管理功能，能全面满足BI、DI、AI应用需求。同时，基于特定规则将不同的业务，如查询、跑批，分发到不同的计算资源上，以此实现业务的分流，减少业务间的相互影响。
法规探讨 | 《医疗器械管理法（草案征求意见稿）》初探（1）
weixin_44308912的博客
09-03 426
相较于现行的《医疗器械监督管理条例》，《医疗器械法》不仅沿袭了《条例》的核心内容，还在多个方面进行了深入的改进和完善，为未来医疗器械的管理与发展奠定了更加坚实的法律基础。此举不仅确保了医疗器械的质量和安全性，也为行业的有序发展提供了法律保障。此举旨在实现信息的高效流通与利用，提高监管的透明度和效率，促进医疗器械监管的现代化，推动数据驱动的决策制定和监管优化。第十九条进一步增加了对医疗器械“出海”的支持，国家鼓励开展医疗器械科技创新的国际交流，并加强医疗器械监管国际合作，推动医疗器械监管的国际协同与信赖。
7-8月月报 | Apache SeaTunnel社区进展一览
weixin_54625990的博客
09-03 874
各位热爱 Apache SeaTunnel 的小伙伴们，社区 7-8 月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。
hdfs读写流程和原理
05-23
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一部分，它是一个可伸缩的分布式文件系统，可以在大型集群中存储和处理超大型数据集。下面是HDFS的读写流程和原理： 1. 写入流程 （1）客户端向NameNode请求写入文件，NameNode返回一个DataNode列表，客户端接收到后与DataNode进行数据通信。 （2）客户端将数据划分为一个个数据块，并与DataNode建立连接，将数据块写入DataNode。 （3）DataNode接收到数据块后，先将数据写入本地磁盘，然后将数据块复制到其他DataNode上，以实现数据备份。 （4）客户端在写入完数据后，向NameNode发送文件元数据，即文件名、数据块ID、数据块所在的DataNode等信息，NameNode将这些信息保存在内存中，并更新元数据信息。 2. 读取流程 （1）客户端向NameNode请求读取文件，NameNode返回一个DataNode列表和对应的数据块位置信息。 （2）客户端与DataNode建立连接，请求数据块，DataNode将数据块返回给客户端。 （3）客户端读取完所有数据块后，将数据块组合成完整的文件。 HDFS的主要原理是数据分片和复制。HDFS将大文件划分为多个数据块，每个数据块默认大小为128MB，每个数据块会复制到多个DataNode上，以实现数据备份和容错。NameNode负责管理文件系统的元数据，包括文件名、文件目录、数据块位置等信息，而DataNode则负责数据块的存储和读写。这种分布式存储方式可以实现高可用性和高可靠性，并且可以通过增加DataNode数量来提高存储和读写性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MM-BD

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值