(六)HDFS安全模式

最新推荐文章于 2024-08-01 11:58:45 发布
最新推荐文章于 2024-08-01 11:58:45 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： HDFS 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bemavery/article/details/114950797
版权
在Namenode启动时，系统进入安全模式，等待Datanode发送心跳和Blockreport。当至少80%的Block有3个副本时，Namenode会退出安全模式。在此期间，若发现Block副本不足，Namenode会指示复制额外副本以确保数据安全性。
摘要由CSDN通过智能技术生成
  • 在namenode刚启动的时候,会进入安全模式(safe mode)
  • 安全模式下,hdfs集群是不会进行block的复制
  • 这个时候namenode会等着从各个datanode获取心跳和block report
  • 然后看看集群里的整体的block情况，以及每个block有几个副本，默认是要有3个副本的如果一个block有3个副本，那么就ok了，安全了
  • 如果一定比例（80%）的block都是有足够的3个副本的，那么namenode就会退出安全模式
  • 此时如果发现有某个block副本数量不够（比如只有2个副本）的，就指示datanode复制足够的副本数量

码海拾贝2023
关注
专栏目录
HDFS安全模式
Nanshan south的博客
09-06 653
Liunx下的HDFS安全模式： HDFS启动的时候会先进入安全模式： 安全模式下，主要是读取存储在本地的文件 安全模式下，不允许对HDFS进行操纵 当读取完所有数据之后，安全模式会自动关闭 开启HDFS模式 第一步：在/opt/modules/hadoop-2.7.3/etc/hadoop找到core-site.xml和hdfs-site.xml下载下来，下载到hadoop项目的mai...
一篇文章彻底理解 HDFS 的安全模式
明哥的IT随笔
11-19 3343
一篇文章彻底理解 HDFS 的安全模式
HDFS 频繁进入安全模式的原因及解决方案
最新发布
一个8年大数据开发工程师的碎碎念
08-01 493
HDFS安全模式频繁触发影响Hadoop集群稳定性？本文深入剖析HDFS安全模式机制，提供全面优化方案。从基础调整到高级系统调优，包括数据块修复、NameNode配置、网络优化、JVM调优、自动化监控等。学习如何提升DataNode性能，实现智能数据平衡，优化元数据管理。掌握这些技巧，显著减少安全模式触发，提高HDFS可靠性和效率。大数据工程师、Hadoop管理员必读的HDFS性能调优指南，助你构建高性能、稳定的大数据平台。#HDFS #Hadoop #大数据优化 #性能调优
hdfs的安全模式
小爷欣欣
07-15 276
安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，会在30s内HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量...
HDFS 安全模式
Running_Tiger的博客
02-09 718
HDFS 安全模式 1. HDFS 安全模式概述 安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求，是一种保护机制，用于保证集群中的数据块的安全性。 在NameNode主节点启动时，HDFS首先进入安全模式，集群会开始检查数据块的完整性。DataNode 在启动的时候会向 namenode 汇报可用的 block 信息，当整个系统...
HDFS安全模式（NameNode安全模式）实验
weixin_43636211的博客
11-28 402
实验目的： 实验一：验证NameNode启动时确实会进入安全模式，检查数据块的完整性，如果数据块是完整的，会退出安全模式，正常响应读写请求 实验二：验证NameNode启动时确实会进入安全模式，如果未达到配置文件规定个数的DataNode启动，会一直处于安全模式，直到达到规定个数的DataNode都启动后，才会退出安全模式 实验三：验证在NameNode进程运行过程中，如果突然出现了datanod...
hdfs安全模式：
哈尔科夫坦克厂的播客
05-08 212
昨天因为win10崩溃导致虚拟机垮掉，当时正在启动ambari hadoop集群，这个时候崩溃了，导致重新启动虚拟机时出现namenode不能正常启动，报错：safemode：Call to localhost/127.0.0.1:9000 failed on connection exception ，开始以为是端口问题，后来发现不是，端口压根没有启动，后来想了下还是安全模式的问题，通过 hdf...
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
HDFS block丢失hadoop进入安全模式（Safe mode）的解决方法
HDFS 的安全模式
liu_changshen的博客
11-05 462
什么是HDFS的安全模式？ 安全模式是HDFS所处的一种特殊状态，在这种特殊状态下，文件系统只接受读数据的请求，而不接受删除，修改等变更请求。 什么时候启动,离开安全模式? 在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block块状态，当整个系统达到安全标准时，HDFS自动离开安全模式 hdfs集群刚启动的时候，默认30秒的时...
聊聊HDFS安全模式的问题
wenqi
03-13 575
最近在做一些Hadoop项目的时候，会遇到HDFS安全模式的问题，相信写代码的小伙伴们也遇到过这种问题。 在一些场景之下，比如 集群启动后，可以查看目录，但是上传文件时报错，打开 Web 页面可看到 NameNode 正处于 SafeMode 状态，怎么处理？ SafeMode 是 NameNode 的一种特殊状态（Active/Standby/SafeMode 安全模式），在这种状态下，文件系统只接受读数据请求（ls、cat），而不接受上传、删除、修改等变更请求。 在 NameNode 主节点启动时，
hdfs安全模式练习题
03-13
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的一部分，它是一个分布式文件系统，用于存储和处理大规模数据集。HDFS安全模式是HDFS的一种特殊模式，用于确保数据的安全性和可靠性。 在HDFS安全模式下，主要有以下几个练习题： 1. 什么是HDFS安全模式？ HDFS安全模式是HDFS的一种运行模式，它提供了额外的安全性和可靠性措施，以确保数据的完整性和保密性。在安全模式下，只有经过身份验证的用户才能访问和修改数据。 2. HDFS安全模式的主要特点有哪些？ HDFS安全模式的主要特点包括： - 访问控制：只有经过身份验证的用户才能访问和修改数据。 - 数据加密：可以对数据进行加密，确保数据的保密性。 - 完整性检查：可以对数据进行完整性检查，以确保数据没有被篡改。 - 安全审计：可以记录用户对数据的访问和修改操作，以便进行安全审计。 3. 如何启用HDFS安全模式？ 要启用HDFS安全模式，需要进行以下步骤： - 配置Kerberos认证：Kerberos是一种网络身份验证协议，用于验证用户的身份。需要配置Kerberos认证来实现用户身份验证。 - 配置HDFS安全相关参数：需要在HDFS配置文件中设置相关参数，如启用安全模式、指定Kerberos服务器等。 - 生成和分发安全凭证：需要生成和分发Kerberos凭证，以便用户进行身份验证。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码海拾贝2023

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值