Ubuntu配置完整hadoop集群的简述步骤

本文详细描述了如何通过主机克隆技术,为三台虚拟机设置hostname和静态IP,配置JDK11和Hadoop环境,包括环境变量设置、rsync与xsync工具的使用,以及SSH免密登录的配置。重点介绍了在node1上配置Hadoop核心文件和分发任务的步骤,最后完成集群的基本配置和启动过程。
摘要由CSDN通过智能技术生成
  1. 通过主机克隆三台虚拟机
  2. 分别设置虚拟机的hostname,和静态IP,设置主机映射
  3. 在node1里面安装jdk(版本11下)和hadoop /opt/software(用来存储安装包)使用tar -zxvf aaa.tar.gz -C /opt/module/ 在/etc/profile配置环境,并且在sudo nano ~/.bashrc里面配置java-home
  4. 配置好rsync(先sudo apt-get rsync安装)和xsync(需要写脚本,存放在/home/atguigu/bin目录里面,包括后面的myhadoop.sh集群开始结束脚本也是在这个目录),然后xsync一下自己的hadoop和java(-home)。
  5. 连接剩余的虚拟机(node2,node3),设置ssh免密登录
  6. 在node1节点配置一下hadoop的核心文件(看一部分),分发一下。
  7. 集群基本配置完毕,可以写一下myhadoop.sh和jobhistory脚本(在mapred-site.xml配置文件手动打开)
  8. 集群配置完毕,可以启动。
  9. 注意:中间省了很多代码,这只是一个创建思路。

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值