HDFS, 读写流程

最新推荐文章于 2024-06-24 22:53:05 发布
最新推荐文章于 2024-06-24 22:53:05 发布
阅读量65 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CsWarmSun/article/details/108900112
版权

HDFS上传

上面的步骤标得都特别清楚了：

  • 按块申请
  • 返回DN群，用于多处副本
  • 在多个DN中建立串联通道，注意是串联的。
  • 在写入buffer之后，同时做本地持久化和备份

 

副本选择

副本选择策略也蛮简单的，基本方式是按距离优先。在网络拓扑中如何定义距离呢？

答案是基于拓扑的节点路径。

上图详细描述了3副本的情况下的节点选择，可以很清楚的地看到，第三个副本需要找到其他支架，这显然是为安全考虑。而副本之间选择不同节点则是为了并发读写的性能考虑。

HDFS下载

下载更加简单：

  • 按块申请，返回多个副本DN
  • 与第一个DN建立连接。若连接不上，则尝试使用其他副本

 

 

KDLin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS 读写流程
Kuzury
07-03 561
1 HDFS如上图所示，HDFS也是基于Master/Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsim
HDFS读写流程
v1029179954
03-31 303
为了更好地理解HDFS读写流程，下面主要以漫画的形式进行的叙述。 一、HDFS写的流程 1、HDFS主要组成（主要了解hadfs构成及其担任的工作） client：客户端（主要发起读和写），可以在javaapi操作，也可以hdfs shell中操作 namenode：全局把控 datanode：存储数据 2、数据分块 默认的情况下，客户端知道一个blocksize是多大和有几个block的副本。...
HDFS读写流程详细过程
m0_57697768的博客
05-29 9522
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
000005 - HDFS 读写流程
最新发布
张--小涛涛
06-24 1104
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3640
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
超详细的HDFS读写流程详解（最容易理解的方式）
香蕉牛奶棒棒槌的博客
03-12 639
HDFS采用的是master/slaves这种主从的结构模型管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。HDFS作为hadoop的分布式储存框架，最重要的莫过于数据流的读写过程了，下面就HDFS得数据流的读写流程做个详细的剖析。 HDFS的写流程 首先写操作的代码操作： hd...
ubuntu远程管理，ssh，关闭图形界面
KDLin‘s Blog
09-15 678
ubuntu静态IP，ssh 2020年9月15日 18:40 自行加上sudo，ubuntu 20的配置相比16有一些不同。在NAT模式下，原理都是一致的。即vmare在window虚拟网卡，虚拟网卡连接虚拟路由器（网关），虚拟机连接虚拟路由器 准备 更新apt，apt-get install update，apt-get install upgrade 安装vim，ifconfig，apt-get install vim，apt-get install net-tools 安装开启s
Hadoop集群部署（二），小型集群部署
KDLin‘s Blog
10-02 619
整体规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ...
Hadoop集群搭建（一），xsync和xcall脚本编写
KDLin‘s Blog
10-02 380
准备，集群配置脚本 2020年9月29日 多节点操作脚本，同步文件以及命令，非常方便。 方法是通过脚本借助ssh，rsync同步文件，同步命令 xsync 其实核心就是 rsync，通过遍历指定的host完成同步 xcall 核心同样了遍历指定的host，执行ssh远程命令 注意 无法使用sudo命令的话，需要手动在/etc/sudoers文件中修改 ...
深入理解kafka原理和细节
KDLin‘s Blog
12-17 367
一、kafka架构、存储原理 引言 对于网络应用来说，网络数据传输延迟是不确定的，这种时候同步消息机制（即阻塞等待响应）就太慢了，所以需要异步通信机制。既然所有框架都有同样的需求，那自然需要一个专门处理异步通信的框架，即实现消息队列（MQ)，这就是Kafka。 kafka基础架构 kafka基于发布订阅模式，请求交给MQ队列，MQ队列负责代理请求的发送和响应信息的接收。大数据框架中这种信息交流的可靠性要求很高，因而消息会被kafka持久化。多个订阅者（消费者）即从kafka...
Flume入门以及常见分布式架构搭建
KDLin‘s Blog
12-07 355
Flume 引言 大数据要解决三件事，存储，传输，计算。Flume的定位是在传输这一块，其需求是采集不同框架，集群的日志，要求是高可靠性。比如后端程序一般不和大数据框架部署在同一个集群，但是作为数据平台，我们需要事实获取到相关程序的日记、记录、数据等等，例如电商系统，用户点击的瞬间已经开始计算下一次推荐。 基本架构 flume的基本存在是一个Agent，这是一个jvm进程 通过三个模块来管理数据传输的功能，分别是source，负责输入源对接，sink负责输出目标对接，chann..
Hadoopd的体系架构
KDLin‘s Blog
10-02 243
HDFS架构 NameNode，元数据，消耗资源 DataNode，保存数据 Secondary NameNode，定期备份NameNode YARN架构 工作流程： client提交任务，像ResourceManager（RM）发出申请，整个集群能干多少事，RM负责 RM找到有空的Node Manager（NM）, 每个Node Manager分管单个节点上的资源，NM还能干多少事需要给RM汇总 NM接洽client， 找来（新建）项目负责人，App...
Kafka API
KDLin‘s Blog
12-18 238
Kafka API 一、消息发送流程 Kafka消息发送采用异步发送机制。 main线程负责将消息经过拦截，序列化，分区，然后提交到RecordAccumulator RecordAccumulator是共享数据的数据结构 sender线程则负责从共享数据中拉取数据 二、自定义生产者和消费者 使用就是配置+send/get 比较重要的是理解消息发送流程，如何考虑生产者和消费者同步问题，结合消息发送流程理解。 生产者 使用 ...
任务时间推测及备用任务
KDLin‘s Blog
11-07 216
任务时间推测及备用任务 2020年11月6日 9:08 考虑到某些任务执行太慢,会拖慢其他任务,这时需要启用备用任务. 这里边的问题在于,如何判断任务执行太慢? 答案是, 通过历史任务的执行时间来预测当前任务的时间. 算法 这是一个非常简单的算法. ...
Mapreduce工作机制深度解析
KDLin‘s Blog
11-04 213
Mapreduce工作机制深度解析 2020年11月4日 19:55 Mapreduce整体的编程框架看起来非常直观，就是Map和Reduce两个阶段，但事实上有很多问题，细细想来其实并不容易。例如，我一开始学习wordcount的一些疑惑： 文件如何切分？数据源虽然只有一个，但是hadoop可是分布式的系统，这个文件可能存于多个节点上。其二，文本按行切分可以理解，但若输入数据不是一行一行的文本呢，由谁控制？ Reduce接收wordcount的k，v组的时候，其实是一组一组发过来的，..
Hadoop集群部署（三），集群时间同步
KDLin‘s Blog
10-02 177
集群中的节点需要设置时间同步。这很自然，因为多节点协作，我们希望它们在时间上是同步的。 解决方案就很简单了，只保留一个节点作为时间服务器，其他两个节点从该节点得到时间。 步骤 所有节点停止并永久关闭ntp服务，注意每个发行版的命令不同，这里基于centos6.8 su, 避免麻烦，直接进root service ntpd stop chkconfig ntpd off 在其中一个节点配置ntp，这里配置101主机 vim /etc/ntp.conf restrict 1...
hdfs读写流程和原理
05-23
下面是HDFS的读写流程和原理： 1. 写入流程 （1）客户端向NameNode请求写入文件，NameNode返回一个DataNode列表，客户端接收到后与DataNode进行数据通信。 （2）客户端将数据划分为一个个数据块，并与DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值