hadoop dfsadmin -refreshNodes 命令详解

最新推荐文章于 2021-11-20 11:35:39 发布
最新推荐文章于 2021-11-20 11:35:39 发布
阅读量1.4w 收藏 3
点赞数 1
分类专栏： HDFS 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fiberlijun/article/details/4832936
版权

 dfs.hosts

 

 文件完整路径：列出了允许连入NameNode的datanode清单（IP或者机器名）

 

 dfs.hosts.exclude

 文件完整路径：列出了禁止连入NameNode的datanode清单（IP或者机器名）

 

 hadoop dfsadmin -refreshNodes

 

 这个命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置，无需重启NameNode。

 

 使用这个命令可以很方便的退役一批datanode：

 

 1. 需要退役的机器列表加入dfs.hosts.exclude文件

 

 2. hadoop dfsadmin -refreshNodes

 

 3. 等待一段时间，这些datanode的状态由in service->Decommission

 

 4. dfs.hosts文件剔除这批datanode

 

 5. hadoop dfsadmin -refreshNodes

fiberlijun
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hdfs管理员操作dfsadmin
浪灬迹-红尘少年的博客
05-24 1287
hdfs管理员操作dfsadmin ------------------------------- 1.-report：返回集群的状态信息 $>hdfs dfsadmin -report 2.-metasave：默认存放到{HADOOP_LOG_DIR}路径下,包含datanode和块的信息 $>hdfs dfsadmin -metasave...
hadoop dfsadmin
qq271757232的专栏
04-17 851
hadoop dfsadmin -safemode get
大数据开发之Hadoop篇----hdfs dfsadmin命令
weixin_39702831的博客
10-16 8507
今天我们来了解一下hdfs dfsadmin这个命令，前面我们已经多次使用了hdfs dfs这个命令来对hdfs上的文件进行操作了。而是在生产上面我们还是会遇到不同的情况。今天我们简单讲解一下hdfs dfsadmin中的两个命令，以及他们在生产当中是怎样使用的 1，hdfs dfsadmin -report 这个命令其实是用来查看整个hdfs的健康情况的，因为我们现在是使用cdh的版本，他已经...
HDFS中dfsadmin命令的使用
什么最重要？算法！！
10-16 4658
在hadoop中，管理员可以通过dfsadmin管理HDFS，常用的两个命令如下：-report 显示文件系统的基本数据-safemode 维护HDFS的安全模式
hadoop3.3.0-winutils所有bin文件
02-27
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许在大规模集群上处理海量数据。Hadoop 3.3.0是该框架的一个版本，它带来了许多改进和新特性，旨在提升性能、稳定性和可扩展性。WinUtils是Hadoop在...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
最新发布
12-17
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包，它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件，它是Hadoop在Windows上的一...
hadoop3.3.0-winutils.rar
07-27
Hadoop3.3.0在windows下部署开发环境或者远程开发hadoop集群，对应的 hadoop.dll和winutils.exe以及整个bin目录 ，以及安装方法 亲测可用，有什么问题可以在评论描述
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
Hadoop DataNode启动之refreshUsed
海盗的小菜园
09-30 1800
磁盘使用率关系到容量的均衡，在每个DN启动时都会启动一个线程，定期检测磁盘的使用情况，并向NN汇报，这个线程的名字就是refreshUsed，这个线程会调用操作系统命令du –sk来获得数据目录文件卷的使用情况，并将返回值保存起来。 在创建内部数据结构FSDataset的时候会创建这个线程 public FSDataset(DataStorage storage, Configuratio
hadoop hdfs dfsadmin 介绍
猎人在吃肉
01-11 7792
一、hdfs dfsadmin -safemode 安全模式  NameNode在启动的时候 首先进入安全模式，如果datanode丢失的block达到一定的比例（由hdfs-site.xml文件中dfs.safemode.threshold.pct决定，默认0.999f），则系统会一直处于安全模式状态即只读状态 ； 否则没有其他情况影响，一般情况下，系统会自动离开安全模式。 dfs.sa
hadoop之DataNode---退役旧数据节点
@小刘同学nice
04-08 320
添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [liujh@hadoop102 hadoop]$ pwd /opt/module/hadoop-2.7.2/etc/hadoop [liujh...
hadoop管理命令——dfsadmin
景山编程-顺道编程
09-04 1340
dfsadmin是一个多任务的工具，我们可以使用它来获取HDFS的状态信息，以及在HDFS上执行的一系列管理操作。 调用方式 例如：hadoop dfsadmin -report dfsadmin命令详解 -report：查看文件系统的基本信息和统计信息。 -safeadmin enter | leave | get | wait：安全模式命令。安全模式是NameNode的一...
hadoop dfsadmin -report
weixin_59295776的博客
11-20 1484
hadoop dfsadmin -report 这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。 当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况 Configured Capacity: 77209395855360 (70.22 TB) Present Capacity: 76079914600683 (69.19 TB) DFS Remaining: 6053470701568...
Hadoop管理命令
arelinzhi的博客
06-24 396
1. hadoop dfsadmin2. 文件系统验证（fsck)hadoop fsck /输出说明2.1 over-replicated block: 说明一些文件数超出所属文件的限定2.2 under-replicated block:文件块数未达到要求的副本数2.3 misreplicated block :不满足块副本存储位置策略的块2.4 corrupt blocks:所有块副本全部出现...
hadoop加入一个节点和删除一个节点刷新集群状态命令
Running_Tiger的博客
03-31 4527
hadoop加入一个节点和删除一个节点刷新集群状态命令1、增加节点1.1、动态添加datanode，不停namenode 1.修改slaves文件，添加需要增加的节点host或者ip，并将其更新到各个节点 2.在datanode中启动执行启动datanode命令。命令：sh hadoop-daemon.sh start datanode 3.可以通过web界面查看节点添加情况。或使用命令：sh
hadoop：dfsadmin -report 全0
wyq393562305的专栏
04-14 1962
 今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Ca
Hadoop错误8_dfsadmin -report后livenodes为0 或 报错could only be replicated to 0 nodes, instead of 1
wang_zhenwei的博客
08-27 2333
题目中的两个描述相同，发生在Hadoop环境配置过程中， 首次初始化后，启动 sbin/start-dfs.sh sbin/start-yarn.sh 然后jps查看，namenode和datanode正常启动， 继续往下进行， sbin/stop-dfs.sh sbin/stop-yarn.sh 然后又正常关闭， 但是，继续验证是否配置成功时， bin/hdfs dfsa

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值