动态的删除Hadoop集群的节点（白名单与黑名单）

最新推荐文章于 2022-10-04 18:52:10 发布
最新推荐文章于 2022-10-04 18:52:10 发布
阅读量3.9k 收藏 3
点赞数
分类专栏： 大数据挖掘与大数据应用案例 Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012965373/article/details/45307907
版权
本文介绍了如何动态地在Hadoop集群中删除节点，避免频繁修改主机文件。通过在`hadoop-site.xml`和`mappred-site.xml`中设置白名单和黑名单，以及管理`include`和`exclude`文件，可以便捷地控制节点的访问权限。重启服务后，通过HTTP接口监控集群状态。
摘要由CSDN通过智能技术生成

对于大多数使用hadoop集群的人来说，有时候因为项目数据大小或者是分工不同的原因，

总要把hadoop集群的机器分开使用，

那么为了使用方便，而不是每次都去配置每台机器的host文件。

这里我推荐使用动态删除节点的方法，

主要的意思就是在dfs的hadoop/conf/hadoop-site.xml

和JobTracker的hadoop/conf/mappred-site.xml中添加黑名单和白名单

首先，现在namenode里配置，白名单和黑名单：

先编辑/hadoop/conf/hadoop-site.xml文件

了解本专栏 订阅专栏 解锁全文
杨鑫newlfe
关注
专栏目录
订阅专栏
hadoop动态增加和删除节点方法介绍
09-30
当面临数据量的增长或者硬件资源的变化时，动态增加和删除节点的能力是集群管理的关键。本篇文章将详细阐述如何在Hadoop集群中实现动态增加DataNode和删除DataNode的操作。 **一、动态增加DataNode** 在Hadoop集群...
Hadoop3：HDFS-通过配置黑白名单对集群进行扩缩容，并实现数据均衡（实用）
Brave_heart4pzj的博客
07-12 1333
Hadoop
hadoop添加服务器及白名单和黑名单的设置
qq_44125155的博客
10-04 958
添加节点，以及黑白名单的设置
hadoop添加白名单 以及 黑名单
热门推荐
诗水人间
10-26 14万+
白名单用在刚搭建集群的时候使用，黑名单是正常的退役服务器 注意：不允许白名单和黑名单中同时出现同一个主机名称。 白名单 （1）在NameNode的/opt/module/hadoop-3.2.1/etc/hadoop目录下创建dfs.hosts文件 vim dfs.hosts 内容不允许有其他字符包括空格 hadoop112 hadoop113 hadoop114 ...
HDFS添加白名单和黑名单（含具体实现）
m0_56066550的博客
12-12 3543
白名单和黑名单是hadoop管理集群机器的一种机制。 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 添加到黑名单的主机节点，不允许访问NameNode，会将黑名单的主机节点上的数据迁移到白名单主机节点上，然后退出该黑名单节点。 实际情况下，白名单用于确定允许访问NameNode的DataNode节点。黑名单用于在集群运行过程中退役DataNode节点。 一、配置白名单和黑名单的具体步骤如下： 1、在NameNode节点的/opt/module/hadoop
Hadoop的TaskTracker黑名单机制
云计算?
05-27 269
Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过，则该job就将这个tasktracker加入自己的jo...
看懂Hadoop集群原理与实现方式
02-25
文章让大家通过拓扑图的形式直观的了解Hadoop集群是如何搭建、运行以及各个节点之间如何相互调用、每个节点是如何工作以及各个节点的作用是什么。明白这一点将会对学习Hadoop有很大的帮助。首先，我们开始了解Hadoop...
Hadoop集群程序设计与开发PPT.rar
最新发布
08-19
Hadoop集群程序设计与开发PPT.rar
HDFS中的白名单和黑名单
u012321968的博客
07-27 858
配置白名单 （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件， 添加如下主机名称（不添加hadoop105） hadoop102 hadoop103 hadoop104 （2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性 <property> <name>dfs.hosts</name> <value>/opt/module/hadoop-2
记hadoop集群黑名单移除节点出现问题及解决
qingzhenli的博客
05-25 1862
首先区分一下通过直接下线服务和通过黑名单来移除节点的区别，这两个动作都会涉及到block副本数不够而复制移动恢复的问题，但是通过黑名单的话可以同时移除多个节点，这个是两种情况的主要区别； 步骤： 1.移除nodemanager     在yarn-site.xml中加入以下配置                         yarn.resourcemanager.nodes.exc
HDFS添加白名单详细操作步骤
mischen520的博客
05-26 740
白名单：表示在白名单的主机IP地址可以，用来存储数据。 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 vimwhitelist 在whitelist中添加如下主机名称，假如集群正常工作的节点为102 103 hadoop102 hadoop103 （2）创建黑名单 touch..
hadoop集群的白名单和黑名单示例说明
Faith_xzc
07-08 732
白名单示例说明: 说明 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 web浏览器查看添加白名单前： 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [xzc@hadoop102 hadoop]$ pwd /opt/module/hadoop-2.7.2/etc/hadoop [xzc@hadoop102 hadoop]$ touch dfs.hosts
添加白名单、黑名单--Hadoop学习笔记
liuliusix的博客
10-26 401
添加白名单 102上创建dfs.hosts文件 [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.8.2/etc/hadoop [root@hadoop102 hadoop]# touch dfs.hosts [root@hadoop102 hadoop]# vi dfs.hosts 添加白名单机器名称 hadoop102 hadoop103 hadoop104 修改hdfs-site.xml，使白名单生效 [root@hadoop102 hadoop
HDFS---添加白名单
weixin_43471650的博客
05-11 392
HDFS—添加白名单 由于集群中添加克隆节点较为容易，如果不做如何措施，都可访问到NameNode. 所以，创建一份白名单，添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下 1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [root@hadoop03 hadoop]# touch dfs.hosts [root@hadoop03 hadoop]# vim dfs.
HDFS的黑白名单机制
清晨的炸鸡啤酒花生米的博客
10-30 1299
HDFS的黑白名单机制 黑名单 - 在网络SEO优化当中，搜索引擎或者义务用户收集的搜索引擎垃圾制造者列表，可以用于从搜索引擎封杀这些垃圾制造者，或者抵制他们。 白名单 - 白名单的概念与“黑名单”相对应。如果设立了白名单，则在白名单中的用户（或IP地址、IP包、邮件等）会优先通过，不会被当成垃圾邮件拒收，安全性和快捷性都大大提高。 通俗来讲，黑名单策略就是名单中记录的节点不能通过，其他记录放行。与之相对应的白名单就是只有名单中的记录可以通过，未记录的信息不能通过。 HDFS—添加白名单 由于集群中添加
关于hadoop集群常见的节点失联问题
lisong_ghost的博客
04-20 2496
节点失去心跳 1.先看下是否能连上 ssh上去看一下，或者ping一下 如果能连上的考虑是主机名和时间同步问题 查看hostname是不是发生了变化，检查/etc/hosts文件是否一致 查看时间与namenode节点是否一致 确定没有这两方面原因之后，等一段时间后即可获取心跳 2.连不上的话考虑网络和服务器的问题 ...
Hadoop集群动态新增节点和故障转移配置
Hadoop动态新增节点是Hadoop集群中的一个重要功能，它允许用户在不中断服务的情况下增加或减少节点，从而提高集群的可扩展性和可靠性。本文将详细介绍Hadoop动态新增节点的过程和注意事项。 一、Hadoop动态新增节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值