《大数据： Hadoop（HDFS） DN 新增和退役节点的黑白名单》

最新推荐文章于 2022-01-19 15:37:58 发布

HarkerYX

最新推荐文章于 2022-01-19 15:37:58 发布

阅读量295

点赞数

分类专栏：【大数据：上篇】

本文链接：https://blog.csdn.net/yexiangCSDN/article/details/108823508

版权

【大数据：上篇】专栏收录该内容

107 篇文章 35 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细介绍了如何在Hadoop集群中添加新的DataNode节点，使用白名单删除节点，通过黑名单退役节点，以及进行集群间的数据拷贝和Hadoop存档操作。在添加和删除节点时，涉及到了对hosts文件、hdfs-site.xml的配置以及Namenode和ResourceManager的刷新。

摘要由CSDN通过智能技术生成

一、新添DN节点

1. 准备一台新的虚拟机，我这边是hadoop4，修改hostname，ip 等等按照之前配置不多说

2. 拷贝hadoop 过来，删除data 目录

yexiang@hadoop4:<soft>$ scp -r yexiang@hadoop3:/opt/soft/hadoop-2.7.2 ./
...

yexiang@hadoop4:<hadoop-2.7.2>$ rm data/ -rf

3. 各个节点修改 /etc/hosts, 添加 192.168.100.133 hadoop4 （自行修改自己的ip和主机名），如果节点过多，那至少有副本数-1的节点要修改以及新节点修改

192.168.100.130 hadoop1
192.168.100.131 hadoop2
192.168.100.132 hadoop3
192.168.100.133 hadoop4

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HarkerYX

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Hadoop系列十之HDFS节点的服役和退役

weixin_43497829的博客

02-26

450

1.服役新数据节点随着工资业务的增长，数据量越来越大，烟油的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备（1）在hadoop103主机上再克隆一台hadoop104主机（2）修改IP地址和主机名称（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log）（4）source一下配置文件 [JL@hadoop104 hadoop-3.1.3]$ source /etc/profile 1.2

退役旧数据节点-白名单退役

jiedaodezhuti的博客

03-17

1.添加白名单 添加到白名单的主机节点，都允许访问 NameNode，不在白名单的主机节点，都会被退出。配置白名单的具体步骤如下：（1）在 NameNode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件 [hadoop@hadoop102 hadoop]$ pwd /opt/module/hadoop-2.7.2/etc/hadoop [hadoop@hadoop102 hadoop]$ touch dfs.hosts [hadoop@h

参与评论您还未登录，请先登录后发表或查看评论

HDFS添加白名单和黑名单（含具体实现）

m0_56066550的博客

12-12

3553

白名单和黑名单是hadoop管理集群机器的一种机制。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。添加到黑名单的主机节点，不允许访问NameNode，会将黑名单的主机节点上的数据迁移到白名单主机节点上，然后退出该黑名单节点。实际情况下，白名单用于确定允许访问NameNode的DataNode节点。黑名单用于在集群运行过程中退役DataNode节点。一、配置白名单和黑名单的具体步骤如下： 1、在NameNode节点的/opt/module/hadoop

Hadoop中节点的服役和退役，加入或删除存储节点或计算节点，黑白名单

Ahuuua的博客

05-03

647

节点的服役和退役(hdfs) ---------------------- [添加新节点] 1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。只有名称节点需要它 [白名单] [s201:/soft/hadoop/etc/dfs.include.txt] 这个路径是自己放的，自己加的文件 s202 s203 s204 s205 2.在hdfs-...

GBase 8c 管理平台（七）集群DN节点状态

art_love的博客

01-19

767

GBase 8c是南大通用研发的一款分布式交易型数据库管理系统，具备高性能、高可用、弹性伸缩、高安全性等特性，可以部署在物理机、虚拟机、容器、私有云和公有云。

大数据学习之-NN，SNN和DN的作用

weixin_34326558的博客

10-18

1071

2019独角兽企业重金招聘Python工程师标准>>> ...

大数据-Hadoop-HDFS(一)：数据存储模块(Hadoop Distributed File System,分布式文件系统)【适合一次写入，多次读出的场景】【可以追加数据，但不可修改已有数据】

u013250861的博客

01-14

2368

# 一、HDFS概述 ## 1、HDFS产出背景及定义 - 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切**需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。** - HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 - HD

hadoop-hdfs(yarn)之节点的服役和退役

m0_37169802的博客

08-10

739

本人的nn为s201,其余的s202 s203 s204 .....为dn 一 hdfs [服役] 1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。 [白名单] [s201:/soft/hadoop/etc/dfs.include.txt] 如没有可以自己创建内容如下： s202 s203 ...

大数据入门之Hadoop（二：HDFS基础知识）

Charles_ZengYC的博客

03-24

866

文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作（文件上传）5.2 HDFS的读操作（文件下...

Hadoop是什么

记录点滴

05-18

1493

http://www.cnblogs.com/Yuppy-Lotr/p/5983839.html 2.Hadoop核心思想　　Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台，其核心部件是HDFS与MapReduce 　　HDFS是一个分布式文件系统：传统文件系统的硬盘寻址慢，通过引入存放文件信息的服务器Namenode和实际存放数据的服

DN的工作原理

大数据

10-09

1278

DataNode 1.提供真实文件数据的存储服务 2.文件块(block):最基本的存储单位。对于文件内容而言，一个文件长度大小是size，那么从文件0皮衣开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一块称为一个block,HDFS默认Block的大小是128MB,以一个256MB文件，则需要两个block，即256 / 128 = 2 3.不同于普通文件系统的是，HDFS里面，如果...

Hdfs的数据磁盘大小不均衡如何处理

大数据星球-浪尖

03-13

7184

最近浪尖在纠结一个现在看起来很简单的问题。现象描述建集群的时候，datanode的节点数据磁盘总共是四块磁盘做矩阵成了一个7.2TB的sdb1(data1)，两块通过矩阵做了一个3.6TB的sdc1(data2)磁盘，运维做的，历史原因。刚开始没有发现，然后集群过了一段时间，随着数据量的增加，发现集群有很多磁盘超过使用率90%告警，浪尖设置磁盘告警阈值是90%，超过阈值就会发短信或者微信告警，提醒

大数据入门：Hadoop核心设计思想

shuimuzh123的博客

06-25

1519

在面对大批量的数据处理任务的时候，Hadoop已经成为稳定高效的平台框架选择，Hadoop在大数据处理上得到重用，那么就代表着想要从事大数据行业的我们，也需要对于Hadoop有足够充分的认识和掌握，今天的Hadoop入门学习，为大家分享Hadoop的核心设计思想。 大数据来临的时候，海量的数据规模是令人头疼的第一个问题，为了解决大规模的数据处理，分布式架构应运而生，这也就是Hadoop的核心设计思想。 Hadoop的分布式架构，对于大规模数据处理任务，简单来说，就是将这些数据处理任务进行“分组合.

CDN技术详解及利用varnish软件实现方法

songyuchaoshi的博客

09-29

319

1、为什么使用CDN？在互联网领域有一个“8秒定律”，用户访问一个网站时，如果等待网页打开的时间超过8秒，会有超过30%的用户放弃等待。 “第一公里” 是指万维网流量向用户传送的第一个出口，是网站服务器接入互联网的链路所能提供的带宽。这个带宽决定了一个网站能为用户提供的访问速度和并发访问量。如果业务繁忙，用户的访问数越多，拥塞越严重，网站会在最需要向用户提供服务时失去用户。（还有“中间一公里” 和“最后一公里”分别代表互联网传输传输和万维网流量向用户传送的最后一段接入链路）使用CDN会极大简化网站

Hadoop之HDFS---浅谈DN、NN、SNN