大数据学习之四 HDFS流程图解，网络拓扑，机架感知

最新推荐文章于 2023-05-25 15:59:58 发布
VIP文章 最新推荐文章于 2023-05-25 15:59:58 发布
阅读量218 收藏
点赞数
分类专栏： 大数据学习 HDFS 文章标签： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmknzb/article/details/102845993
版权

大数据学习之四 HDFS流程图解，网络拓扑，机架感知

HDFS读操作

HDFS写流程
流程解析：

  1. 客户端（client）向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在。
  2. NameNode返回是否可以上传文件。
  3. 客户端请求第一个block（块，默认128MB）要上传到哪几个DataNode上。
  4. NameNode返回3个DataNode节点，分别为datanode1，datanode2，datanode3。
  5. 客户端请求datanode1上传数据，datanode1收到请求会继续调用datanode2，然后datanode2再继续调用datanode3&#x
最低0.47元/天 解锁文章
默默谦行
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据实验二-HDFS编程实践
04-03
一．实验内容 HDFS编程实践： 1）使用HDFS文件操作的常用Shell命令；...此外，我还学习了如何使用`hdfs dfs -copyFromLocal`和`hdfs dfs -copyToLocal`命令在HDFS之间复制文件。 （3）其次，我利用Hadoop提供的Java AP
每天一点hadoop 第三篇HDFS(二)
栎梓天冲的专栏
04-15 528
每天一点hadoop 第三篇HDFS二) 今天我们继续总结HDFS的知识 1. HDFS基本原理 将文件切分成等大的数据块，存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 2.HDFS的容错机制 hadoop为实现namenode的容错提供了两种机制 备份那些组成文件系统元数据持久状态的文件。通过配置使namenode在多个文件系统上保存元数据的持久状态。 运
hdfs网络拓扑与机架感知
小冷在努力~
09-10 1441
在了解hdfs创建文件之前，需要对hdfs网络拓扑有一个浅显的认知，继而对机架感知做一个简单的介绍。 在海量数据处理中，其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法：把网络看作一棵树，两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的，但是相对于数据中心、机架、正在运行的节点，通常
HDFS-网络拓扑
铭绵羊
12-22 848
1、节点距离 1）往上找共同的节点，求和。 2、文件上传副本选择
HDFS 网络拓扑的概念和副本放哪里
ThisIsNobody的博客
06-21 471
网络拓扑节点间的距离衡量标准是带宽，而带宽则意味着传输速率Hadoop可以根据运行节点分级：不同数据中心节点 < 相同数据中心不同机架的节点 < 相同机架的不同节点 < 相同节点不同进程 （带宽递增）副本放哪里？考量因素：可靠性，写入带宽，读取带宽权衡冗余性和带宽损耗多个副本：第一个副本放在运行客户端的节点上，第二个副本放在不同的机架的节点上，第三个副本与第二个副本放在相同机架上...
HDFS学习 笔记 关于 HDFS网络拓扑概念及机架感知（副本节点选择）
weixin_45944348的博客
08-12 360
HDFS网络拓扑概念及机架感知（副本节点选择） 在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？ 节点距离：两个节点到达最近的共同祖先的距离总和。 例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。 Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程） Distance(/d1/r1/n1, /d1/r1/n2)=2（同一
大数据平台构建：HDFS运行原理.pptx
06-21
Block存储到DataNode上，会以多副本的形式进行存储，默认副本数为3，通过机架感知和副本均匀分布的策略保证数据的高可用性。数据存储之后，对应的元数据会保存在NameNode中。 Block 二、Block lock文件是DataNode...
7-0大数据技术之Hadoop（HDFS）
最新发布
12-15
7_0大数据技术之Hadoop（HDFS）
大数据 培训 课程 入门 HDFS hadoop
03-09
大数据 培训 课程 入门 HDFS hadoop
大数据平台构建：HDFS的重要概念.pptx
06-21
HDFS是由Doug Cutting基于Google公司2003年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据...
大数据网络拓扑架构图
11-13
大数据网络拓扑架构图
hdfs官方设计文档(中文)
11-14
Hadoop 分布式文件系统 (HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方，但又和这些文件系统有很明显的不同。HDFS是高容错的，设计为部署在廉价硬件上的。HDFS对应用程序的数据提供高吞吐量，而且适用于那些大数据集应用程序。HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。HDFS最初是为了Apache 的Nutch网络搜索引擎项目的下层构件而设计的。是Hadoop项目的一部分，而这又是Apache的 Lucene项目的一部分。本项目的地址是：http://projects.apache.org/projects/hadoop.html。
简单搞定hdfs读写流程
github_36444580的博客
09-04 4550
1.HDFS写数据流程         1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求d
Hadoop网络拓扑
北方佳人
05-31 5759
详述Hadoop集群中如何进行网络拓扑的介绍
大数据Hadoop学习之HDFS
qq_43399188的博客
05-25 328
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
HDFS应用场景、原理、基本架构
架构师的成长之路的博客
05-15 7490
HDFS应用场景、原理、基本架构更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、HDFS是什么源自于Google的GFS论文发表于2003年10月HDFS是GF...
HDFS架构和实现机制简介
weixin_41153425的博客
07-31 163
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包括多个 DataNode，用来存储数据。HDFS 的整体结构如图 1 所示。 HDFS整体架构 图 1 HDFS整体架构 HDFS 会对外暴露一个文件系统命名空间，并允许用户数据以文件的形式进行存储。在内部，一
HDFS主要知识汇总
Novice_guy的博客
03-26 489
HDFS HDFS是一个分布式文件系统，适合一次写入多次读出的场景。 HDFS的优缺点 优点 高容错性：数据自动保存多个副本，默认是3，且在某个副本丢失后可以自动恢复 适合处理大数据：数据规模大，文件规模多 可以构建在廉价机器上，通过多副本机制，提高可靠性。 缺点 不适合低延时数据访问，比如毫秒级别的存储数据，是做不到的。 无法高效的对对大量小文件进行处理，所以可以采用特定的文件格式处理小文...
Hadoop：HDFS NameNode内存全景
weixin_34007291的博客
09-12 402
原文转自：https://tech.meituan.com/namenode.html 感谢原作者 一、概述 从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握NameNode的内部...
头歌大数据实训作业hdfs操作
05-13
好的，下面是一个简单的 HDFS 操作示例，供参考： 1. 创建 HDFS 目录 使用以下命令创建一个名为 `testdir` 的 HDFS 目录： ``` hdfs dfs -mkdir /testdir ``` 2. 上传文件到 HDFS 使用以下命令将本地文件 `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值