大数据最新Hadoop大数据应用：HDFS 集群节点缩容(1)，2024年最新2024年大数据开发开发陷入饱和

于 2024-05-11 22:32:04 发布
阅读量536 收藏 8
点赞数 10
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166896/article/details/138732300
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一、实验

1.环境

（1）主机

表1  主机

主机架构软件版本IP备注
hadoopNameNode （已部署） SecondaryNameNode （已部署） ResourceManager（已部署）hadoop2.7.7192.168.204.50
node01DataNode（已部署） NodeManager（已部署）hadoop2.7.7192.168.204.51
node02DataNode（已部署） NodeManager（已部署）hadoop2.7.7192.168.204.52
node03DataNode（已部署） NodeManager（已部署）hadoop2.7.7192.168.204.53
node04DataNode（已部署）hadoop2.7.7192.168.204.54需求迁移主机

（2）查看jps

hadoop节点

[root@hadoop ~]# jps

node01节点

node02节点

node03节点

node04节点

2.HDFS 集群节点缩容

（1）查看节点状态 （已使用）

node01: 176KB (约等于0.18M )

node02: 280KB  (约等于0.28M )

node03: 260KB  (约等于0.26M )

node04:  8KB （约等于0.008M）

[root@hadoop hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 822126559232 (765.67 GB)
Present Capacity: 798788423680 (743.93 GB)
DFS Remaining: 798787682304 (743.93 GB)
DFS Used: 741376 (724 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.204.54:50010 (node04)
Hostname: node04
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 5658730496 (5.27 GB)
DFS Remaining: 199872901120 (186.15 GB)
DFS Used%: 0.00%
DFS Remaining%: 97.25%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:16:33 CST 2024


Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 266240 (260 KB)
Non DFS Used: 5620936704 (5.23 GB)
DFS Remaining: 199910436864 (186.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 97.27%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:16:33 CST 2024


Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 180224 (176 KB)
Non DFS Used: 6029176832 (5.62 GB)
DFS Remaining: 199502282752 (185.80 GB)
DFS Used%: 0.00%
DFS Remaining%: 97.07%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:16:34 CST 2024


Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 286720 (280 KB)
Non DFS Used: 6029291520 (5.62 GB)
DFS Remaining: 199502061568 (185.80 GB)
DFS Used%: 0.00%
DFS Remaining%: 97.07%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:16:34 CST 2024

（2）查看

[root@hadoop ~]# cd /usr/local/hadoop/
[root@hadoop hadoop]# ./bin/hadoop fs -ls /

（3）上传第一个测试文件

[root@hadoop ~]# /usr/local/hadoop/bin/hadoop fs -put /root/jenkins.tar.gz /jenkins.tar.gz

观察上传变化

[root@hadoop hadoop]# ./bin/hadoop fs -ls /

（4）上传第二个测试文件

[root@hadoop ~]# /usr/local/hadoop/bin/hadoop fs -put /root/pinpoint-image.tar.gz /pinpoint.tar.gz

观察上传变化

[root@hadoop hadoop]# ./bin/hadoop fs -ls /

（5）web查看

http://192.168.204.50:50070/

（6）清空本地文件

[root@hadoop ~]# rm -rf jenkins.tar.gz pinpoint-image.tar.gz

（7）再次查看节点状态 （已使用）

node01: 2.41GB

node02: 2.27GB

node03: 2.15GB

node04:  2.26GB

[root@hadoop hadoop]#  ./bin/hdfs dfsadmin -report
Configured Capacity: 822126559232 (765.67 GB)
Present Capacity: 798784053248 (743.93 GB)
DFS Remaining: 789019389952 (734.83 GB)
DFS Used: 9764663296 (9.09 GB)
DFS Used%: 1.22%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.204.54:50010 (node04)
Hostname: node04
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2424492032 (2.26 GB)
Non DFS Used: 5662638080 (5.27 GB)
DFS Remaining: 197444509696 (183.88 GB)
DFS Used%: 1.18%
DFS Remaining%: 96.07%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:57:57 CST 2024


Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2312085504 (2.15 GB)
Non DFS Used: 5620936704 (5.23 GB)
DFS Remaining: 197598617600 (184.03 GB)
DFS Used%: 1.12%
DFS Remaining%: 96.14%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:57:58 CST 2024


Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2592927744 (2.41 GB)
Non DFS Used: 6029148160 (5.62 GB)
DFS Remaining: 196909563904 (183.39 GB)
DFS Used%: 1.26%
DFS Remaining%: 95.80%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:57:57 CST 2024


Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2435158016 (2.27 GB)
Non DFS Used: 6029783040 (5.62 GB)
DFS Remaining: 197066698752 (183.53 GB)
DFS Used%: 1.18%
DFS Remaining%: 95.88%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 15:57:59 CST 2024

（8）计算总存储使用量

9.09 G （jenkins 1.24 GB,pinpoint 3.27 GB ,存储副本量为2）

(9)修改配置文件（hadoop节点）

#添加代码

[root@hadoop hadoop]# vim hdfs-site.xml

修改前：

修改后：

……
      <property>
          <name>dfs.hosts.exclude</name>
          <value>/usr/local/hadoop/etc/hadoop/exclude</value>
      </property>
……

（10）配置移除主机

[root@hadoop hadoop]# vim /usr/local/hadoop/etc/hadoop/exclude



node04

（11）数据刷新

[root@hadoop hadoop]# ./bin/hdfs dfsadmin -refreshNodes

（12）查看节点状态

node04节点状态变为Decommissioned in Program

[root@hadoop hadoop]#  ./bin/hdfs dfsadmin -report
Configured Capacity: 619019411456 (576.51 GB)
Present Capacity: 600866701319 (559.60 GB)
DFS Remaining: 590966771712 (550.38 GB)
DFS Used: 9899929607 (9.22 GB)
DFS Used%: 1.65%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.204.54:50010 (node04)
Hostname: node04
Decommission Status : Decommission in progress
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2424492032 (2.26 GB)
Non DFS Used: 5663162368 (5.27 GB)
DFS Remaining: 197443985408 (183.88 GB)
DFS Used%: 1.18%
DFS Remaining%: 96.06%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 16:34:33 CST 2024


Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2312085504 (2.15 GB)
Non DFS Used: 5756112896 (5.36 GB)
DFS Remaining: 197463441408 (183.90 GB)
DFS Used%: 1.12%
DFS Remaining%: 96.07%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Mar 14 16:34:31 CST 2024


Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2592927744 (2.41 GB)
Non DFS Used: 6232051712 (5.80 GB)
DFS Remaining: 196706660352 (183.20 GB)
DFS Used%: 1.26%
DFS Remaining%: 95.71%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 3
Last contact: Thu Mar 14 16:34:33 CST 2024


Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2570424327 (2.39 GB)
Non DFS Used: 6164545529 (5.74 GB)
DFS Remaining: 196796669952 (183.28 GB)
DFS Used%: 1.25%
DFS Remaining%: 95.75%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Mar 14 16:34:32 CST 2024


Decommissioning datanodes (1):



![img](https://img-blog.csdnimg.cn/img_convert/0232dbb9128168068a1ac2376673151b.png)
![img](https://img-blog.csdnimg.cn/img_convert/585479f1df9ee6e71cb75771e8ba2798.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

onfigured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Mar 14 16:34:32 CST 2024


Decommissioning datanodes (1):



[外链图片转存中...(img-N74Jn7gu-1715437893054)]
[外链图片转存中...(img-jijAA9NX-1715437893054)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84166896
关注
  • 10
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据应用：HDFS 集群节点缩容
cronaldo91的博客
03-14 1494
node02: 280KB (约等于0.28M )node04: 8KB （约等于0.008M）SecondaryNameNode （已部署）ResourceManager（已部署）(9)修改配置文件（hadoop节点）（7）再次查看节点状态 （已使用）NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）（1）查看节点状态 （已使用）NameNode （已部署）DataNode（已部署）DataNode（已部署）DataNode（已部署）
第四章 HDFS—集群扩容及缩容
qq_38358499的博客
06-27 321
4.1 添加白名单 白名单：表示在白名单的主机 IP 地址可以，用来存储数据。 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下： 在 NameNode 节点的/opt/module/hadoop-3.1.3/etc/hadoop 目录下分别创建 whitelist 和 blacklist 文件 创建白名单，vim whitelist hadoop102 hadoop103 创建黑名单...
怎么做 HDFS 的原地平滑缩容？
张伯毅的专栏
11-03 6451
背景 目前有三个DataNode节点,需要缩容这三个DataNode节点上的磁盘. 即修改dfs.data.dir中指定的目录... 三种缩容方案 第一种缩容方法，如果 DataNode 的节点数目比较多，并且允许缩减存储空间的同时缩减 CPU 和内存资源，则可以缩掉若干个 DataNode 节点，直接使用 HDFS 提供的 decommission（附上社区版文档，CDH 文档，HDP 文档）。这是最常见的方法，缩减过程中涉及大量数据的跨节点迁移，会产生大量的内网流量可能影响线上负载，需要运维人员.
hdfs集群的扩容和缩容
huan的学习记录
04-04 921
当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。
Hadoop3 - HDFS DataNode 动态扩容和缩容
小毕超博客
10-06 2412
已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。节点已经上线，但没有数据块的存储，使得集群整体来看负载不均衡。DataNode 缩容，不像扩容那样启动一个节点即可， 缩容还需要把当前节点数据移出去才可以，：旧的服务器需要进行退役更换，暂停服务，需要在当下的集群中停止某些机器上HDFS的服务。上的磁盘使用量与群集中的总体使用量相差不超过。过大的话，有可能影响业务服务的操作。的总体使用率是集群磁盘总存储容量的。例如，如果集群中所有。
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
"大数据开发：HDFS数据节点与名称节点的通信机制" 大数据开发中，HDFS（Hadoop Distributed File System）作为分布式文件系统，提供了稳固的底层存储支持。HDFS的各个节点之间的通信机制是大数据开发的关键所在。...
大数据开发-在虚拟化集群中部署hadoop.zip
最新发布
04-02
大数据开发_在虚拟化集群中部署hadoop
大数据课程-Hadoop集群程序设计与开发-3.HDFS分布式文件系统_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
大数据课程-Hadoop集群程序设计与开发-1.Hadoop入门_lk_edit.ppt
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
hadoop 动态扩容 缩容
刘本龙的专栏
11-04 1135
初始化集群 初始化集群：hadoop三个DataNode，HBASE集群只有一个regionserver。 后面我们不停服的情况下，动态添加一个机器node4，在node4上启动DataNode和Hregionserver服务。 hadoop动态扩容 准备工作 准备工作与新搭建集群类似，这里参考笔者另一篇博客Hadoop 2.8.5 完全分布式HA高可用安装（一）–环境准备 安装java 配...
hadoop之HDFS的扩充
Losteng的博客
12-04 7516
最近在vm中进行扩容之后考虑，openstack的容量添加，随之想起hdfs的容量扩充的问题，从网上查找资料之后，现总结如下： 首先在服务器上大都使用的Linux的系统，实验上大都采用的是centos开源的项目。 在Linux中添加硬盘时，需要考虑的是容量，但是随着硬件资源的扩展现在磁盘的容量可鞥会出现原有系统不能很好的进行 先介绍2种分区表： 　　MBR分区表：（MBR含义：主引导记录）
【亲测可用】Hadoop分布式集群扩缩容
大数据研习社
03-25 2440
Hadoop集群动态扩缩容 1 项目需求 随着公司业务的增长，数据量越来越大，原有DataNode节点的容量已经不能满足数据存储的需求，需要在原有集群基础上动态添加新的数据节点，也就是俗称的动态扩容。如果在Hadoop集群运行过程中，某些节点变得反常，例如故障率过高或者性能过低，可能就需要停止这些节点上的Hadoop服务，并从Hadoop集群中移除，也就是俗称的动态缩容。通常情况下，节点需要同时运行DataNode和NodeManager守护进程，所以两者一般同时新增或者移除。 2 动态扩容原理
生产调优4 HDFS-集群扩容及缩容(含服务器间数据均衡)
好好学习天天向上
04-07 1360
文章目录HDFS-集群扩容及缩容添加白名单配置白名单的步骤二次配置白名单增加新服务器需求环境准备服役新节点具体步骤问题1 服务器间数据均衡问题2 105是怎么关联到集群的服务器间数据均衡应用场景服务器间数据均衡配置开启数据均衡命停止数据均衡命令黑名单退役旧节点黑名单配置步骤 HDFS-集群扩容及缩容 添加白名单 白名单：在白名单的主机IP地址可以访问集群，对集群进行数据的存储。不在白名单的主机可以访问集群，但是不会在主机上存储数据 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单的步骤 1.
hadoop 优化之hdfs扩容和缩容
qq_43224174的博客
12-17 1471
本篇博客主要是对hadoop hdfs的扩容和缩容进行配置。主要包括：如何添加hdfs集群的白名单、添加服役服务器、集群服务器之间的数据均衡和黑名单退役不需要的服务器的方法和命令。
大数据学习(二)，hadoop集群重要节点概述以及HDFS文件系统的原理
duchenlong的博客
04-13 3706
hadoop集群中的一些重要节点， NameNode，DataNode，JobTracker，TaskTracker，SecondaryNameNode的作用和意义，以及Hadoop分布式文件系统存储的原理，块的设计
Hadoop集群动态扩容和缩容
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
06-13 1719
本文通过实例讲解了Hadoop集群动态扩容缩容的过程，记录于此，供自己和各位同学日后参考及研究。
HDFS-集群扩容及缩容
New_little_user的博客
03-04 1958
集群扩容及缩容
Hadoop集群动态扩容、缩容
dingqiu6346的博客
09-14 1395
一、 Hadoop集群动态扩容、缩容 随着公司业务的增长，数据量越来越大，原有的datanode节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。也就是俗称的动态扩容。 有时候旧的服务器需要进行退役更换，暂停服务，可能就需要在当下的集群中停止某些机器上hadoop的服务，俗称动态缩容。 1． 动态扩容 1.1． 基础准备 在基础准备部分，主要是设置...
头歌大数据实训作业 第1关：HDFS的基本操作
03-31
1. 创建文件夹：hadoop fs -mkdir /path/to/folder 2. 上传文件：hadoop fs -put /path/to/local/file /path/to/hdfs/destination 3. 下载文件：hadoop fs -get /path/to/hdfs/file /path/to/local/destination 4. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值