《大数据： Hadoop（HDFS） NN，DN 工作原理_安全模式》

最新推荐文章于 2022-01-18 16:07:26 发布

HarkerYX

最新推荐文章于 2022-01-18 16:07:26 发布

阅读量381

点赞数

分类专栏：【大数据：上篇】

本文链接：https://blog.csdn.net/yexiangCSDN/article/details/108823476

版权

【大数据：上篇】专栏收录该内容

107 篇文章 35 订阅 ¥99.90 ¥299.90

订阅专栏

一、安全模式

NN在启动时，当NN将所有的元数据加载完成后，等待DN来上报块的信息
当NN中所保存最小副本数(默认为1) 的所有块 / 块的总数 > 99.99% 时，NN会自动离开安全模式！
在安全模式，客户端只能进行有限读操作！不能写！

1. 便捷的验证safemode，关闭所有DN和NN，然后重启NN

yexiang@hadoop2:<hadoop-2.7.2>$ hadoop-daemons.sh stop datanode
hadoop2: stopping datanode
hadoop1: stopping datanode
hadoop3: stopping datanode

yexiang@hadoop1:<module&g

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HarkerYX

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
《大数据： Hadoop（HDFS） NN，DN 工作原理_安全模式》

dd
复制链接

扫一扫

专栏目录

订阅专栏

《大数据： Hadoop（HDFS） NN，DN 工作原理_无2NN模式》

yexiangCSDN的专栏

09-25

349

一、HDFS 1. HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统 2. HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不适合存储小文件(存储小文件时会降低NN的服务能力) 3. HDFS的块大小块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置！如果不配置，那么在hadoop1.x时，dfs.blocksize=64M，在hadoop2.xdfs.blocksize=12...

hdfs-3.1.3——NN&DN启动源码剖析

最新发布

qq_37187606的博客

09-28

846

hdfs这个组件在启动的时候会开启三个JVM实例——namenode、datanode

参与评论您还未登录，请先登录后发表或查看评论

CDH集群NN频繁宕机,启动后master102重复进入安全模式

激进的蜗牛

03-07

563

最近集群一直在报块太多的警告,NN一直宕机.宕机的原因是full gc的时间太久,跟journal node的通信断开了. 首先尝试增加journal node和name node的time out时间,默认为20s,增加到10分钟之后问题没有改善. time out报错如下: FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: ...

Java大数据-Hadoop-HDFS- DN （DataNode）工作机制、数据完整性、掉线时限参数设置

godkzz的博客

12-21

351

一、DataNode （1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode 启动后向 NameNode 注册，通过后，周期性（6 小时）的向 NameNode 上报所有的块信息。 DN 向 NN 汇报当前解读信息的时间间隔，默认 6 小时 <property> <name>dfs.blockreport.intervalMsec</.

HDFS组件（NN/DN/SNN）

qq_39892028的博客

11-01

793

NN: （NameNode）文件系统的命名空间 a.文件名称 b.文件目录结构 c.文件属性(创建时间权限副本数) d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上 blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时， datanode定期发送blockreport 给namenode，以此namenode在内存中动态维护这种映射关系...

大数据技术之Hadoop(HDFS).docx

03-02

大数据技术之Hadoop(HDFS) Hadoop是Apache开源组织中的一個大数据处理项目，HDFS（Hadoop Distributed File System）是Hadoop项目中的分布式文件系统组件。HDFS是基于Google的GFS（Google File System）设计的，...

高可用性的HDFS：Hadoop分布式文件系统深度实践

05-15

第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...

尚硅谷大数据技术之Hadoop（HDFS)1

08-08

【尚硅谷大数据技术之Hadoop（HDFS）1】这篇文档主要介绍了Hadoop的分布式文件系统HDFS的基础知识，包括其产出背景、定义、优缺点以及基本架构...理解HDFS的工作原理和特性对于有效利用Hadoop进行大数据分析至关重要。

Hadoop大数据教学视频100集

01-01

在HDFS_DN工作机制中，DataNode（DN）是HDFS的存储节点，负责实际的数据存储。每个DataNode会存储一部分HDFS文件块，并与NameNode（NN）通信，定期发送心跳和块报告，以确保NN能了解整个集群的状态。当客户端需要...

HDFS内部原理解析

calorie的博客

08-17

403

HDFS 定义: 它是一个分布式文件系统,用于存储大文件,分布式系统整合个多台机器的计算能力和存储能力,适合于一次写入数据,多次读出的场景,适合用于数据分析组成架构: NameNode: 1,管理HDFS的命名空间 2,配置副本策略 3,管理数据块的映射信息 4,处理客户端的读写请求 DataNode: 1,存储实际的数据块 2,执行文件的的读写操作 3,负责块的创建,删除 Second...

Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并

希望每天都能进步一点点

01-18

1267

Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容

Hadoop：详解HDFS启动过程及相关节点工作机制（检查点机制、安全模式）

Jodness' Blogs

04-03

2837

Namenode是集群主从结构模型中的唯一的一个管理者，它负责管理HDFS文件系统的命名空间（namespace)：文件系统树及整棵树内的所有文件和目录的元数据，而这些信息以两种文件形式持久化地保存在本地磁盘中；管理数据块位置信息：命名空间镜像文件(fsimage) 管理着客户端的读写操作：编辑日志文件(editlog) 同时namenode维护了块到datanode的映射，即每个...

大数据开发技术NN和2NN工作机制

zjjcchina的博客

12-14

199

NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失

Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制

weixin_46973649的博客

07-17

446

Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制 HDFS读流程客户端Client中的DistributedFileSystem对象申请下载文件，NameNode检查申请的文件是否存在，并查看要下载的文件夹是否有读权限，然后响应文件是否存在，DistributedFileSystem对象请求下载第一个Block，NN返回三个DN节点，客户端会开一个FSDataInputStream输入流，然后向其中一块DN请求建立通道，DN应答成功，开始传输Packet，其他两个DN负责当备胎，传输成功.

HDFS架构之NN,DN,SNN以及副本放置策略

阿顾的博客

07-31

1304

1.HDFS是一个主从架构，NameNode是老大，SecondaryNameNode是老二，老大挂了，老二会直接顶上去 2.RACK机架下面这个图就是RACK机架，用来放服务器的，每台机架上可以放置多台服务器下面我们看下HDFS架构图 1. NN 名称节点主要作用：管理文件系统的命名空间主要存储：文件系统的命名空间,包含： a.文件名称 b.文件目录结构 c.文件的属性（例如权限，...

Hadoop2分布式及NN和RM实现HA的实验

ArmandXu的专栏

01-21

1018

本文转自：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/?utm_source=tuicool&utm_medium=referral [一]、引言在Hadoop2.x初期的时候写过一篇 hadoop 2.2.0 集群模式安装配置和测试，记录了分布式搭建的最基本的搭建步骤和运行演示，那篇文

NN，2NN以及DN的工作机制

m0_38109926的博客

08-08

708

NameNode和SecondaryNameNode的工作机制首先NameNode中有两个文件：一个是Fsimage：是NameNode内存中元数据序列化后形成的文件。还有一个是Edits：编辑日志，这个日志负责记录客户端更新元数据的每一步操作。然后当NameNode启动时，会滚动Edits编辑日志，生成一个空的Edits.inpress文件。然后将Edits和fsImage加载到内存中进行合并。从而保证元数据是最新的。然后客户端会对元数据进行增删改的操作，这些操作都会被记录到edits_inp

大数据面试精华：Hadoop与MapReduce详解

- 在安全模式下，HDFS禁止写入新的文件，直到所有元数据完全加载到内存。这时，DataNodes会检查数据块的完整性并修复潜在问题。 - 文件在HDFS中被划分为Block，每个Block默认有3个副本，确保数据冗余。 2. ...