NameNode决定副本的存放的机制

最新推荐文章于 2021-12-07 07:01:27 发布
最新推荐文章于 2021-12-07 07:01:27 发布
阅读量390 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smugaoyi/article/details/74139791
版权

NameNode决定副本的存放的机制：


第一个block副本考虑距离近客户端的；

第二个block副本考虑距离远的（和第一个副本在不同的机架上）；

第三个block副本在第一个机架的不同机器上；


高小毅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop_namenode如果选择在哪个datanode存储副本
weixin_34257076的博客
11-01 437
2019独角兽企业重金招聘Python工程师标准>>> ...
【学习笔记】Hadoop之HDFS架构、SecondaryNameNode、副本放置策略
潇山远
07-09 217
1. HDFS架构 HDFS是主从架构，一个NameNode作为主节点，维护管理文件系统的元数据信息，N个DataNode作为从节点，存储实际的数据块。 【图片后续补】 1.1 NameNode（简称NN） 维护管理文件系统的元数据信息 文件目录结构 文件名称 文件属性（权限，创建时间，副本数…） 文件对应的块（副本）与DataNode的映射关系 这个映射关系，不会持久化存储，而是在集群启动和运...
HDFS 副本策略，文件上传流程，NameNode和2NN工作机制
qq1010234991的博客
12-07 726
Hadoop副本节点选择原则 hadoop副本节点的选择是从效率和安全方面的综合考虑 1. 第一个副本在本机--目的是效率方面考虑 2. 第二个副本在同机架不同节点 3. 第三个是不同机架的不同节点上 HDFS文件上传流程 1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 cl...
HDFS部分：namenode的启动流程，Block的副本放置策略
wyqwilliam的博客
08-20 999
namenode的启动流程： 1.文件(fsimage)载入内存 2.执行编辑日志(edits)中的各项操作 3.创建一个新的fsimage文件 4.创建一个空的编辑日志 在namenode第一次启动之前，搭建了集群之后格式化，一切都是空的状态。 安全模式 namenode启动的时候，首先将映像文件(fsimage)载入内存，并执行编辑日志(edits)中的各项操作。 一旦在内存中成功...
NameNode工作机制和DataNode副本工作机制
weixin_33694620的博客
06-04 202
2019独角兽企业重金招聘Python工程师标准>>> ...
分布式文件系统hdfs - 副本.zip
最新发布
04-11
- **写文件**：客户端首先与NameNode通信，获取文件块的存放位置。然后，它将文件块依次写入被选择的DataNode，并在所有副本都成功写入后返回确认。NameNode更新元数据信息。 - **读文件**：读取时，客户端向...
Hadoop学习总结之一：HDFS简介.doc
06-06
数据块的副本存放策略通常遵循两个原则：一是避免所有副本放在同一机架上，以减少局部故障带来的影响；二是尽可能地将副本分布在不同的节点上，提高读取效率。 2.4、NameNode的角色 NameNode作为HDFS的中心管理...
hadoop-hdfs.pdf
06-16
4. **返回管线**：NameNode根据副本存放策略选择一组DataNode作为写入路径，即所谓的“管线”，并将这条路径返回给客户端。副本存放策略一般遵循以下原则： - 副本1：通常放置在客户端所在的节点或者离客户端最近的...
HDFS可靠性策略
02-14
HDFS 具有“机架感知”能力，它能自动实现在本机架 A 上存放一个副本，然后在其它机架 B 上的随机一台机器再存放一副本，在 B 机架的另一台机器再存放一个副本。这样可以防止机架失效时数据丢失，也可以提高带宽利用...
step7_HDFS（HDFS详解）1
08-04
* 副本存放：每一个文件块可以有多个副本，并存放在不同的DataNode上。 * 元数据管理：目录结构及文件分块信息的管理由NameNode节点承担。 * 分布式存储：HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端...
Hadoop副本数配置
weixin_34378922的博客
01-19 2090
一个文件，上传到hdfs上时指定的是几个副本就是几个。修改了副本数（dfs.replications），对已经上传了的文件也不会起作用。当然可以在上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=2 -put abc.txt /tmp可以通过命令来更改已经上传的文件的副本数：hadoop fs -setrep -R 2 / 查看当前hdfs的副本数hado...
Hdfs NameNode中数据块、数据节点及副本状态概述
METON的博客
08-19 2607
HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 ​ 在hdfs文件系统中，NameNode是HDFS中的主节点，其主要管理和维护hdfs文件系统中的两个重要关系； 数据块和节点管理 名字节点维护着HDFS文件系统中两个重要的关系： HDFS文件系统的命名空间（namespace）；包括文件系统目录树，文件/目录信息以及文件对应的数据块索引，即每个文件对应的数据块列...
2020-12-05
weixin_43914278的博客
12-05 62
namenode重启的时候会通过这两个文件恢复： fsimage 内存中的镜像文件 edits 日志文件 namenode（master）存储时间、大小、权限、块列表 node结点存储分块文件 如下图所示： namenode决定第一个副本存储在哪一个主机，第二个副本存储在哪一个主机…… 心跳机制：告诉namenode，datanode还活着，就是定期给namenode发送一个消息。如果datanode（node01）挂机了，这个时候namenode会将其存储的block再复制一份存储在其他datanode。
HDFS角色功能与副本放置策略
chuang_z的博客
06-14 139
nameNode 1、完全基于内存存储文件元数据、目录结构、文件block的映射 2、需要持久化方案保证可靠性 3、提供副本fang zhi
Hadoop中namenode/secondarynamenode/yarn的一些配置
POSTBIRD
12-08 1826
hadoop2.2.0在64位的机器上需要对源码进行编译（众所周知的槽点），自己比较习惯用centos，不是特别习惯用ubuntu系列。 在centos 6.4 X64下进行编译（我的centos6.4没有使用DVD2的软件iso）遇到了很多问题，也一个个去解决了。 自己进行编译能加深自己的印象。
namenode功能与作用机制
m0_62739609的博客
12-07 6057
namenode作用与机制 作为整个HDFS集群和文件系统的管理者，namenode的功能主要可总结为以下四点 1、管理HDFS的命名空间，并以fsimage进行持久化保存。 HDFS命名空间即文件目录树及其目录与文件的元数据，为了处理的高效性，namenode会在内存中维护这部分元数据，同时为了安全性，也需要将这些数据永久化到磁盘中，具体则是通过fsimage和edits两个文件进行实现 fsimage 是命名空间镜像文件，是文件系统元数据的完整的永久检查点，可理解为文件系统的存档或者快照，由于文件系统往
NameNode 工作机制
Da.的博客
05-13 4327
1 NameNode&Secondary NameNode 工作机制
NameNode存储的主要信息
zhoujq的专栏
08-08 3716
NameNode存储的信息 在FSNamesystem的开头注释中有一段文字： /***************************************************  *FSNamesystem does the actual bookkeeping w
理解Hadoop HDFS：文件分块与NameNode的关键角色
如描述所示，每个文件块的副本存储在不同的DataNode上，例如"a.txt.part1"的副本可能分别存放在dn1、dn2和dn3上。 NameNode是HDFS的关键组件，它负责管理文件系统的元数据，包括文件的目录结构、文件到文件块的映射...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值