HDFS 之 命令积累

已于 2024-06-11 13:51:30 修改
阅读量91 收藏
点赞数
分类专栏： 中间件 文章标签： hdfs hadoop 大数据
于 2024-01-29 11:51:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwerty1372431588/article/details/135908428
版权
本文详细介绍了HDFS的集群状态检查、运维命令，特别是hdfs dfs和hdfs dfsadmin的常用操作，包括文件管理、权限设置、安全模式、节点管理等，旨在帮助管理员更有效地管理和维护Hadoop分布式文件系统。
摘要由CSDN通过智能技术生成

1、集群状态

2、运维命令

2.1 节点刷新

hdfs dfsadmin -fs hdfs://$(hostname) -refreshNodes  # Decommission 
1、命令整体含义
	该命令是用于在Hadoop分布式文件系统（HDFS）中进行节点刷新操作的管理员命令。它通常用于在不停止集群的情况下，动态地添加或者移除集群中的数据节点（DataNodes）。

2、各参数详细解释
dfsadmin：这是HDFS的一个子命令，专门用于执行HDFS集群的管理任务。
-fs hd
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Studying！！！
关注
专栏目录
订阅专栏
HDFS原理与代码实例讲解
程序员光剑
06-15 431
随着互联网、移动互联网、物联网的快速发展,海量的数据不断产生和积累。这些数据来自于各种渠道,包括网络日志、社交媒体、物联网设备等。传统的数据存储和处理系统已经无法满足当前大数据时代的需求。因此,一种能够存储和处理大规模数据集的分布式文件系统应运而生,这就是HDFS(Hadoop Distributed File System)。异构存储支持: HDFS未来可能会支持更多种类的异构存储设备,如SSD、NVMe等,以提高存储性能和效率。智能数据管理。
HDFS新增节点与删除节点
Malu_的博客
11-06 839
HDFS新增节点与删除节点 服役新数据节点 目标：掌握HDFS新添加节点到集群的步骤 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules 修改ip地址命令 vim /etc/sysconfig/network-...
HDFS NN refreshNodes操作的可用性和效率的改进
走在前往架构师的路上
06-12 3265
文章目录前言NN refreshNodes的可用性以及效率问题 前言 我们知道在HDFS里面有，存着一类白名单和黑名单的列表来控制其下允许进行注册的DN节点。这样可以防止一些外部恶意节点注册到我们的NN上来。在HDFS的概念里，这个黑白名单叫做include file和exclude file。在一般情况下，exclude file的使用范围会更管一些，因为DN的decommission下线需要将待下线机器加到此exclude file中，然后再手动执行dfsadmin的refreshNodes命令进行刷
HDFS 集群动态节点管理
最新发布
Stars.Sky 的博客
09-04 816
HDFS 集群动态节点管理
hadoop dfsadmin -refreshNodes 命令详解
m0_67266585的博客
08-16 1205
这个命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置，无需重启NameNode。3. 等待一段时间，这些datanode的状态由in service->Decommission。文件完整路径：列出了允许连入NameNode的datanode清单（IP或者机器名）文件完整路径：列出了禁止连入NameNode的datanode清单（IP或者机器名）1. 需要退役的机器列表加入dfs.hosts.exclude文件。4. dfs.hosts文件剔除这批datanode。...
Hadoop生态圈（八）- HDFS动态节点管理
程序园@大Null
01-17 1001
hdfs动态扩容、节点上线，hdfs动态缩容、节点下线，hdfs DataNode负载均衡服务，hdfs黑白名单机制
hadoop之hdfs命令
weixin_50691399的博客
12-15 2125
本文主要是hdfs相关操作包括查看文件上传下载文件等。
hdfs的实验总结_HDFS学习心得
weixin_36073714的博客
12-29 4829
HDFS-Hadoop文件系统第一节：HDFS的文件结构学习HDFS首先得了解HDFS的文件结构，以及它是如何更新和保存数据的，要了解HDFS首先得知道HDFS主要由三个部分组成：namenode,datanode,secondaryNamenode.这三者的关系按照我的理解就是主人，下人，小秘的关系。namenode是主人的角色，他是一个管理者，是一个决策者。datanode是一个下人，准确来说...
HDFS的工作机制
RomanyK的博客
04-13 828
深入理解HDFS内部工作机制，掌握HDFS读写流程
HDFS架构，常用特性
zzaliubi的博客
04-21 532
hdfs架构。常用功能。
hadoop加入一个节点和删除一个节点刷新集群状态命令
Running_Tiger的博客
03-31 4555
hadoop加入一个节点和删除一个节点刷新集群状态命令1、增加节点1.1、动态添加datanode，不停namenode 1.修改slaves文件，添加需要增加的节点host或者ip，并将其更新到各个节点 2.在datanode中启动执行启动datanode命令。命令：sh hadoop-daemon.sh start datanode 3.可以通过web界面查看节点添加情况。或使用命令：sh
HDFS服役新数据节点和退役旧节点步骤
赵广陆
12-07 946
目录1 背景2 动态扩容、节点上线2.1 新机器基础环境准备2.1.1 主机名、IP2.1.2 Hosts映射2.1.3 防火墙、时间同步2.1.4 SSH免密登录2.1.5 JDK环境配置2.2 Hadoop配置2.2.1 NameNode节点配置2.3 手动启动DataNode进程2.4 Hadoop Web页面查看2.5 DataNode负载均衡服务3 动态缩容、节点下线3.1 添加退役节点3.2 刷新集群3.3 手动关闭DataNode进程3.4 DataNode负载均衡服务4 黑白名单机制4.1
hdfs刷新节点失败，未显示Refresh nodes successful
Bingmous的博客
07-06 690
使用命令：hdfs dfsadmin -refreshNodes 没有显示Refresh nodes successful，而是：refreshNodes: /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude 原因：hdfs-site.xml中dfs.hosts.exclude配置路径有换行错误 # 错误！ <property> <name>dfs.hosts.exclude</name> <value
HDFS动态添加、删除节点机器
CC
12-15 2463
HDFS动态添加、删除节点机器 操作 配置 1.动态的 增/删 节点 1.1 ————操作前准备新节点 集群启动的状态中，添加一台新的机器（节点）进入； 第一次三台机器加入集群，是通过slaves中添加的。 这里创建一个新的hadoop4号机器，启动服务，稍后动态添加。 1.1.1 克隆一台新机器：hadoop4; ————注：（一定注意，克隆中的集群生成的 data和nam...
hdfs集群节点的服役和退役（上线 下线）
fantasticqiang的博客
06-02 4551
问题描述我们在维护hadoop集群的时候，需要动态增加和删除datanode或者yarn管理节点，而不是停掉整个集群。首先，hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件，如果没有的话需要在配置文件中添加这两个属性。&lt;property&gt;   &lt;!-- 白名单信息--&gt; &lt;name&gt;dfs.hosts&lt;/...
hadoop 刷新命令
u011500419的专栏
07-13 1814
1)杀死一个 job? 2)删除 hdfs 上的/tmp/aaa 目录 3)加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令？ 解答： hadoop job -list 记录job-id、hadoop job -kill job-id hadoop fs -rmr /tmp/aaa 添加新节点： hadoop -daemon.sh start datanode hadoo...
hadoop经典系列(十二)HDFS添加删除节点并进行集群平衡
报喜鸟
12-04 573
HDFS添加删除节点并进行hdfs balance 方式1：静态添加datanode，停止namenode方式 1.停止namenode 2.修改slaves文件，并更新到各个节点 3.启动namenode 4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） -----------------------------...
HDFS 新增节点
czxylzl的博客
11-06 2704
服役新数据节点 目标：掌握HDFS新添加节点到集群的步骤 需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-p...
写一篇大数据时代对会计的影响论文，要求有1.摘要 2.研究具体行业的行业背景、目的和研究意义 3.行业数据采集(爬虫或者调研)写过程或代码，详细 4.数据上传至HDFS(命令，结果) 5.将HDFS上的文件导入至数据仓库Hive中(命令，JAVA代码和过程，结果) 6.利用可视化工具或者SQL命令对数据仓库里的数据进行数据分析，要有分析结果和分析总结(命令，JAVA代码和过程，结果) 7.分析完对所研究行业的帮助或者意义和总结 8.学习本课程的心得体会
05-28
数据上传至HDFS是大数据处理的重要过程之一。HDFS是Hadoop分布式文件系统，是一个高可靠、高扩展、高性能的分布式文件系统。上传数据到HDFS的具体命令如下： ``` hadoop fs -put localfile /user/hadoop/hdfs/ ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Studying！！！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值