Hadoop集群动态添加datanode节点步骤

最新推荐文章于 2023-08-30 10:18:57 发布
最新推荐文章于 2023-08-30 10:18:57 发布
阅读量5.6k 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： hadoop hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szlcw1/article/details/52749027
版权

总结一下在Hadoop集群动态添加datanode节点相关步骤。


1.     在新节点安装好hadoop，并把namenode的有关配置文件复制到该节点

2.     修改namenode节点的masters和slaves文件，增加该节点

3.     设置各节点ssh免密码进出该节点，设置IP映射

4.     单独启动该节点上的Datanode和Nodemanager

    hadoop-daemon.sh start datanode

    yarn-daemon.sh start nodemanager

5.     运行start-balancer.sh进行数据负载均衡，作用：当节点出现故障，或新增加节点时，数据块分布可能不均匀，负载均衡可以重新平衡各个datanode上数据块的分布

sz-lcw
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop分布式部署，部署一个namenode和三个datanode
javaChengXuY的博客
03-05 4266
本文以一主三从部署hadoop为介绍 1 首先克隆原有centos系统 2 nn_y 为主，dn1,dn2,dn3为从，都是通过克隆快速完成的. 右键管理有克隆，选择完全克隆。 3 配置网络集群： 设置静态ip 192.168.64.132 192.168.64.133 192.168.64.134 192.168.64.135 根据自己ip网络设置静态ip地址，最后三位不同。 4 通过x’...
mac上基于docker搭建hadoop集群
01-20
1、拉取centos8的镜像 在用户目录下： 2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在...hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master 172.1
hadoop动态增加和删除节点方法介绍
01-10
上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加和删除节点（DataNode）。 假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop ..sbin/hadoop-daemon.sh
Hadoop集群datanode磁盘不均衡的解决方案
02-25
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，具体如下：上图中可以看出max是94.18%，而min是0.37%，其中有600多台是
HDFS和YARN集群新增节点
baidu_21349635的专栏
06-14 888
目录静态新增动态新增Hadoop HDFS 数据自动平衡脚本使用方法 静态新增 静态新增的方式，相当于我们最开始部署Hadoop集群规划一样，停止集群，新增一个DateNode数据节点，这种方法不适用于线上提供服务的场景。 例如现在集群有: bigdata111（namenode） bigdata112（datanode） bigdata113（datanode） bigdata114（新增da...
hadoop集群中增加新节点服务器（DataNode + NodeManager）方案及验证
weixin_43132360的博客
05-24 1760
在原有的3台完全分布式的集群（hadoop1、hadoop2、hadoop3仨节点）增设一台新的服务器节点（hadoop4充当DataNode + NodeManager）的步骤及验证
【运维】hadoop3.0.3集群安装（二） 横向新增节点和删除节点
hiliang521的博客
08-30 781
横向新增hadoop节点
hadoop 2.7 添加或删除datanode节点
weixin_34367845的博客
07-24 279
1.测试环境 ip 主机名 角色 10.124.147.22 hadoop1 namenode 10.124.147.23 hadoop2 namenode 10.124.147.32 hadoop3 resourcemanager 10.124.147.33 hadoop4 resourcemanager 10.110.92.161 hadoop5 datanode...
Hadoop3.1.1动态新增datanode节点-实操分享
独孤飞磊
03-15 673
已有hadoop环境： 操作系统：CentOS Linux release 7.7 Hadoop版本：3.1.1 Java版本：1.8.0_131 已有的hadoop节点： namenode：node01 namenode：node02 datanode:node01 datanode:node02 datanode:node03 datanode:node04 datanode:node05 新增的hadoop节点： datanode:node06 datanode:node07 datanode:nod
hadoop集群基本进程
01-07
namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就...
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境...
Hadoop集群搭建教程1
08-04
1. 检查ntp包是否安装 2. 设置时间配置文件 3. 设置BIOS与系统时间同步 4. 启动ntp服务并测试 1. 手动同步 2. 定时同步 1. 检查nt
实验一Hadoop大数据集群搭建
11-11
【实验一】Ubuntu/Centos通用的hadoop集群搭建实验（来自OUC） 具体内容和步骤： 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode，并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成...
Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx
06-21
hadoop集群只有一个节点，因此hdfs的块复制将限制为单个副本。 在单个节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程。 完全分布模式 在多个节点上运行。 使用分布式文件系统...
hadoop_ansible:使用Ansible创建hadoop集群
03-22
hadoop_ansible 使用Ansible创建hadoop集群 1.在名称和数据节点中设置通用配置2.Namenode配置3.Datanode配置
Hadoop平台搭建 1.搭建 步骤文档 2.搭建时要用到的组件安装包
最新发布
12-22
启动Hadoop集群：启动Hadoop集群的各个节点，包括NameNode、SecondaryNameNode、DataNode等。 用途： 数据存储和处理：Hadoop可以存储海量数据，并使用MapReduce等编程模型进行数据处理和分析。 数据挖掘和机器学习...
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
 Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/JournalNode hadoop 172.16.250.237 DN2/JN2/RM1 DataNode/JournalNode/...
CentOS下Hadoop-0.20.2集群配置文档
08-06
集群包含三个节点：1 个namenode，2 个datanode，节点之间局域网连接，可以相互ping通，三台节点上均是CentOS系统，并且有一个相同的用户hadoop(具有管理员权限)！
hadoop新添加datanode节点详细步骤
06-09
好的，下面是详细的步骤： 1. 安装Hadoop软件并配置环境变量 在新节点上安装Hadoop软件，并配置好环境变量。可以参考Hadoop官方文档或相关教程。 2. 创建Hadoop用户并设置密码 在新节点上创建一个新的Hadoop用户，用于运行Hadoop服务。可以使用以下命令创建用户： ``` sudo adduser hadoop ``` 然后设置用户密码： ``` sudo passwd hadoop ``` 3. 修改Hadoop配置文件 在Hadoop集群中，需要将所有节点上的Hadoop配置文件保持一致。因此，需要将原有节点上的配置文件复制到新节点上，并修改其中的配置项。 3.1 复制配置文件 将原有节点上的Hadoop配置文件复制到新节点上，可以使用以下命令： ``` scp -r <原有节点的Hadoop安装目录>/etc/hadoop/* <新节点的Hadoop安装目录>/etc/hadoop/ ``` 其中，`<原有节点的Hadoop安装目录>`是指原有节点上的Hadoop安装目录，`<新节点的Hadoop安装目录>`是指新节点上的Hadoop安装目录。 3.2 修改配置项 修改以下配置文件中的配置项： - core-site.xml 添加以下配置项： ``` <property> <name>fs.defaultFS</name> <value>hdfs://<NameNode节点的IP地址>:<NameNode节点的RPC端口号></value> </property> ``` 其中，`<NameNode节点的IP地址>`是指Hadoop集群中的NameNode节点的IP地址，`<NameNode节点的RPC端口号>`是指Hadoop集群中的NameNode节点的RPC端口号。 - hdfs-site.xml 添加以下配置项： ``` <property> <name>dfs.datanode.data.dir</name> <value><新节点数据存储目录路径></value> <final>true</final> </property> ``` 其中，`<新节点数据存储目录路径>`是指新节点上用于存储Hadoop数据的目录路径。 - mapred-site.xml 添加以下配置项： ``` <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` 4. 复制Hadoop安装包和配置文件到新节点上 将Hadoop安装包和配置文件复制到新节点上，可以使用以下命令： ``` scp -r <Hadoop安装包及配置文件所在目录> <新节点的Hadoop安装目录>/ ``` 其中，`<Hadoop安装包及配置文件所在目录>`是指原有节点上的Hadoop安装包及配置文件所在目录，`<新节点的Hadoop安装目录>`是指新节点上的Hadoop安装目录。 5. 启动新节点上的Datanode服务 在新节点上启动Datanode服务，可以使用以下命令： ``` sbin/hadoop-daemon.sh start datanode ``` 启动后，可以使用以下命令检查Datanode服务是否正常运行： ``` jps ``` 如果输出中包含`DataNode`，则说明Datanode服务已经成功启动。 以上就是向Hadoop集群添加新的Datanode节点的详细步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值