2.4)HDFS的读写流程

最新推荐文章于 2024-07-29 09:10:44 发布
最新推荐文章于 2024-07-29 09:10:44 发布
阅读量91 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38092788/article/details/119888969
版权

1.HDFS写数据的流程

在这里插入图片描述

2.网络拓扑-节点距离计算

2.1在HDFS写数据的过程中，NameNode会选择距离待上传数据据最近的距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和。
把连接每节点的 线加一起就好啦。
在这里插入图片描述
在这里插入图片描述

3.机架的感知

3.1副本节点选择

在这里插入图片描述

4.HDFS的读数据流程在这里插入图片描述

MM-BD
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
3_HDFS读写流程及一致性模型
nothair的博客
03-01 814
2020/12/7 sunhaiqi@bonc.com.cn 文章目录一、HDFS中的数据写入读出原理1.1、HDFS写数据流程1.2、HDFS读数据流程二、HDFS文件系统的一致性2.1、从客户端解读文件系统一致性2.2、从服务端解读文件系统一致性2.3、文件系统的一致性模型 一、HDFS中的数据写入读出原理 1.1、HDFS写数据流程 hadoop fs -put /home/bduser/xxx.txt /animals/tiger/ 当我们执行上面这条语句时，集群将执行以下几个步骤（以一台Name
HDFS详解二之HDFS读写流程
大门的博客
07-13 251
1.HDFS写流程 写的过程对于我们操作者而言，是无感知的。 流程图如下： 1.1 用HDFS client执行命令的时候，比如hdfs dfs，java代码，scala代码等，实际上它调用的是分布式文件系统（DistributedFileSystem)（它是一个api，是一个对象）。 1.2 Client调用FileSystem.create(filePath)方法, 与NN进行【rpc】通信...
HDFS读写流程
ifeng
01-22 340
文章目录1 读2 写 1 读 Client 访问NN 查询元数据信息，获得这个文件的数据块位置列表(小部分) ， 返回输入流对象 client 调用FileSystem的open方法 2 写
hadoop之hdfs的角色以及读写流程
风逍遥-ygq
10-17 1013
hadoop之hdfs的角色以及读写流程 1. hdfs简介 　hdfs集群分为两大角色：namenode、datanode 1.1、 namenode工作职责： 1.1.1、 记录元数据： 　　　　　　文件的路径 　　　　　　文件的副本数量 　　　　　　文件的切块大小 　　　　　　文件的块信息 　　　　　　文件块的位置信息 1.1.2、 响应客户端请求 1.1.3、 平衡datanode上的文件...
高可用性的HDFS：Hadoop分布式文件系统深度实践
05-15
2.4 Format情景分析 2.5 元数据应用场景分析 第3章 Hadoop的元数据备份方案 3.1 运行机制分析 4 3.1.1 NameNode启动加载元数据情景分析 3.1.2 元数据更新及日志写入情景分析 3.1.3 Checkpoint过程情景分析 3.1.4 元...
大数据学习总结文档.doc
03-03
2.4.7 HDFS读写流程 写入时，数据先流向一个DataNode，然后复制到其他副本；读取时，客户端从最近的DataNode开始读。 2.5 HDFS文件权限和安全模式 HDFS支持POSIX样式的文件权限，提供用户、组和权限控制。安全模式...
Hbase入门详解
09-15
HBase是一个非关系型数据库，它基于HDFS进行分布式数据存储，具备高可用性、高性能以及实时读写能力。它适合存储大量结构化程度较低的数据，尤其适合大数据分析和实时查询场景。 1.2 HBase表的特性 - **大表存储**...
大数据技术基础期末报告.docx
06-21
通过编程接口直接与HDFS交互，实现数据的读写操作，增强对Hadoop分布式存储的理解。 通过本报告，我们可以看到大数据技术涵盖了从理论到实践的多个层面，不仅需要理解大数据的基本概念和挑战，还要掌握关键工具如...
分布式系统常见软件架构模式
Ben的专栏
07-25 1012
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
2202_75352238的博客
07-28 755
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 983
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
基于 SASL/SCRAM 让 Kafka 实现动态授权认证
最新发布
zlt2000的博客
07-29 317
本文将从零开始部署ZooKeeper和Kafka并通过配置SASL/SCRAM和ACL（访问控制列表）来增强Kafka的安全性
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 855
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 538
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
AccessLog| 一款开源的日志分析系统
ClkLog的博客
07-26 485
系统采用Java语言、搭配OLAP数据库，涵盖基本web日志分析，同时提供性能分析，帮助高效运维
自定义维度映射：Kylin Cube设计的高级玩法
2401_85763639的博客
07-25 640
维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。
Kylin查询优化器深度解析：大数据查询性能的加速引擎
2401_85812053的博客
07-25 620
Apache Kylin是一个开源的分布式分析引擎，专为Hadoop和Spark平台上的大数据集提供快速的SQL查询能力。Kylin的核心优势之一是其强大的查询优化器，它能够智能地优化查询计划，显著提高查询性能。本文将深入探讨Kylin的查询优化器是如何工作的，并提供详细的解释和代码示例。Kylin的查询优化器是一个强大的组件，通过多阶段的优化流程和关键技术，显著提高了大数据集上的SQL查询性能。通过本文的学习，你应该能够理解Kylin查询优化器的工作原理，并能够应用这些知识来优化你的查询。
hdfs读写流程和原理
05-23
下面是HDFS的读写流程和原理： 1. 写入流程 （1）客户端向NameNode请求写入文件，NameNode返回一个DataNode列表，客户端接收到后与DataNode进行数据通信。 （2）客户端将数据划分为一个个数据块，并与DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MM-BD

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值