无法通过hdfs dfsadmin -safemode leave解决Name node is in safe mode报错问题的可能原因

最新推荐文章于 2024-05-13 00:46:52 发布
最新推荐文章于 2024-05-13 00:46:52 发布
阅读量1.5k 收藏 1
点赞数
文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwf1093996635/article/details/103638304
版权

无法通过hdfs dfsadmin -safemode leave命令解决Name node is in safe mode报错问题


  操作HDFS系统时报错Name node is in safe mode。此时整个HDFS系统处于只读状态，不能新建或删除文件(夹)。
  上网搜索，得到的建议是执行hdfs dfsadmin -safemode leave命令离开安全模式。执行命令，输出为safemode is OFF。但是，重新操作文件系统时还是报同样的错。说明并没有成功关闭HDFS的安全模式。
  继续搜索，终于在1个英文网站上(好像是Stackoverflow)找到了可能的原因。在HDFS发现系统资源，如硬盘剩余容量不足，无法维持其正常运行时，将会强制进入安全模式。因此，即便执行hdfs dfsadmin -safemode leave命令，HDFS也会在safemode被关闭的瞬间再次进入safemode。
  猜测是硬盘空间不足导致了HDFS强制进入安全模式。清理硬盘，释放一些容量，再次执行hdfs dfsadmin -safemode leave命令，重新执行系统操作，这时不再报错，问题解决。

wwf1093996635
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hdfs-over-ftp安装包及说明
12-08
【标题】"hdfs-over-ftp安装包及说明"涉及的核心技术是将FTP（File Transfer Protocol）服务与HDFS（Hadoop Distributed File System）相结合，允许用户通过FTP协议访问和操作HDFS上的数据。这个标题暗示了我们将在...
2、HDFS操作 - shell客户端
05-29
在大数据处理领域，Hadoop Distributed File System (HDFS) 是一个关键组件，它提供高容错性和可扩展性的分布式存储。对于HDFS的管理，`shell客户端`是开发者和管理员常用的工具，它允许用户通过命令行接口执行各种...
hdfs dfsadmin -safemode无法退出安全模式
Knight
10-20 715
如提示Safe mode is OFF，那就说明退出成功，但有时候这个命令也没办法退出安全模式，就需要使用强制退出。forceExit 强制退出安全模式。safemode 后面可以接。get 获取安全模式的状态。wait 等待安全模式结束。第一种：正常退出安全模式。第二种：强制退出安全模式。enter 进入安全模式。leave 退出安全模式。
大数据02-HDFS的使用和基本命令
weixin_45735391的博客
02-19 2657
HDFS(Hadoop Distribute File System)是大数据领域一种非常可靠的存储系统，它以分布式方式存储超大数据量文件，但它并不适合存储大量的小数据量文件。同时HDFS是Hadoop和其他组件的数据存储层，运行在由价格廉价的商用机器组成的集群上的，而价格低廉的机器发生故障的几率比较高，因此HDFS在设计上采取了多种机制，在硬件故障的情况下保障数据的完整性。兼容廉价的硬件设备: 实现在硬件故障的情况下也能保障数据的完整性流数据读写：不支持随机读写的操作大数据集。
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法_hadoop强制退出安全模式
最新发布
2401_84132644的博客
05-13 978
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！也就是说，我们其实已经实际删除了某些数据块，但是记录的元数据因为一些故障导致没有进行同步，就会出现这种情况。此时，我们就会发现那些数据块丢失的文件，将这些文件按照路径在 HDFS 中全部删除即可。等待安全模式，通常情况下在脚本中使用，当集群退出安全模式后，立马执行相关操作。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！个数据块，还需要额外的。
【大数据Hadoop】HDFS3.3.1-DFSAdmin-reconfig能修改的配置项
如切如磋，如琢如磨，臻于至善。
04-24 656
Hadoop 在运行态可以动态的通过的方式去刷新配置文件或者中的配置到 Namenode 或者 Datanode 的 jvm 中，让其生效。那么哪些配置能让其生效呢。
HDFS命令操作
烙痕丷的博客
07-06 347
命令基本格式:hadoop fs -cmd < args >          hdfs dfs =hadoop fs1.lshadoop fs -ls /1列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /1列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file &...
Hadoop3.2.0 HDFS 用户指南
张伯毅的专栏
02-19 9591
HDFS用户指南 目的 概览 先决条件 Web界面 Shell命令 DFSAdmin命令 Secondary NameNode 检查点节点 备份节点 导入检查点 负载均衡 机架意识 安全模式 fsck的 fetchdt 恢复模式 升级和回滚 DataNode热插拔驱动器 文件权限和安全性 可扩展性 相关文档 目的 本文档是使用Hadoop分布式文件系...
hadoop dfsadmin -refreshNodes 命令详解
m0_67266585的博客
08-16 1173
这个命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置，无需重启NameNode。3. 等待一段时间，这些datanode的状态由in service->Decommission。文件完整路径：列出了允许连入NameNode的datanode清单（IP或者机器名）文件完整路径：列出了禁止连入NameNode的datanode清单（IP或者机器名）1. 需要退役的机器列表加入dfs.hosts.exclude文件。4. dfs.hosts文件剔除这批datanode。...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
这个项目可能提供了在Hadoop环境中通过FTP进行文件传输的能力，使得非Hadoop用户也能方便地访问存储在HDFS上的数据。 描述 "在hadoop分布式文件系统上实现ftp服务" 暗示了这个压缩包包含了一个解决方案，允许用户...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
javaftp源码-hdfs-over-ftp:在HDFS上工作的FTP服务器
06-18
ftp源码hdfs-over-ftp 工作在 HDFS 之上的 FTP 服务器源代码是在 MIT 许可下提供的 FTP 服务器可通过 hdfs-over-ftp.properties 和 users.properties 进行配置。 它允许通过 SSL 使用安全连接并支持所有 HDFS 权限。...
HDFS常用命令总结
qq_38777880的博客
04-20 2046
在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。 一、version命令 version命令可以打印Hadoop版本的详细信息。 $ hadoop version 二、dfsadmin命令 dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。 # hadoop dfsadmin -report 三、jar命令 jar命令是运行jar包文件命令。用户
hadoop HDFS 用户指南
宁静致远 厚积薄发
11-27 3101
1.目的 这个文档的出发点是为了那些使用HDFS的用户，不管是集群环境或者是作为独立的通用分布式文件系统。当在许多环境中使用HDFS时，HDFS的工作知识帮助对一个特定的群集上的配置进行改进和诊断 2.综述：   HDFS是Hadoop应用程序使用的主要分布式存储。一个HDFS集群只要包括一个NameNode 来管理文件系统的元数据，dataNode来存储实际数据。HDFS
hdfs运维指令
小冷在努力~
11-06 1167
配额管理 Hdfs dfsadmin 条件： 对目录进行设置 值必须时正整数 具有管理员权限 2、目录配额 控制目录所有文件/文件夹的个数，当前设置的目录也算是1个，所以1表示当前目录为空目录 Hdfs dfsadmin –setQuota 1 /user/data   //设置/usr/data目录下的配额为1，即/usr/data目录下不能在创建文件或文件夹 Hdfs d...
大数据技术入门：hdfs（分布式文件存储系统）
我这么骄傲的一个人。
07-06 1698
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎
生产调优HDFS—故障排除
weixin_44966780的博客
12-06 646
生产调优HDFS—故障排除 注意：采用三台服务器即可，恢复到 Yarn 开始的服务器快照。 NameNode 故障处理 1）需求： NameNode 进程挂了并且存储的数据也丢失了，如何恢复 NameNode 2）故障模拟 （1）kill -9 NameNode 进程 （2）删除 NameNode 存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name） rm -rf /opt/module/hadoop3.1.3/data/dfs/name/* 3）问题解决
HDFS的xshell及dfsadmin命令
weixin_30709929的博客
05-14 511
一、 DFS：distributied file system 是一种允许文件通过网络在多台主机上风向的文件系统，可让多机器上的多用户分享文件和存储空间 二、HDFS的shell **切记后面加的 / 符号 #hadoop fs -ls / 查看HDFS根目录 #hadoop fs -mkdir /test 在根目录创建一个目录test #hadoop fs -mkd...
hdfs命令
松门一枝花
08-05 1969
bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile ... 追加一个或者多个文件（linux文件）  ... 到hdfs制定文件中.也可以从命令行读取输入. hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile hdfs dfs -appendToFile l
hdfs dfsadmin -safemode leave
03-16
hdfs dfsadmin -safemode leave 的意思是退出 HDFS 的安全模式。在 HDFS 中，当需要进行一些故障排除或维护操作时，可以将 HDFS 进入安全模式，此时 HDFS 只允许读取数据，不允许写入数据。当操作完成后，需要使用 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值