Hadoop虚拟集群搭建
环境
虚拟机:VMWare 14
系统:CentOS Linux 7
终端:Xshell
集群规划
主机名 | IP | HDFS部署节点 | YARN部署节点 |
---|---|---|---|
hadoop000 | 192.168.132.128 | NameNode, DataNode | ResourceManager, NameNodeManager |
hadoop001 | 192.168.132.129 | DataNode | NameNodeManager |
hadoop002 | 192.168.132.130 | DataNode | NameNodeManager |
克隆虚拟机
集群需有多台机器,利用VMWare的克隆可以快速复制一个新的虚拟机(节点),可以将之前已经配置好的hadoop环境机器节点直接克隆,省去繁琐的环境配置。
步骤:1)右击需要克隆的机器 2)点管理 3)克隆
4)点下一步
5)选择克隆自:虚拟机中的当前状态,接着下一步
6)选择克隆类型:创建完整的克隆,下一步
7)修改虚拟机名称方便辨认并选择安装目录,个人为了方便,层次清晰,在hadoop000机器的安装位置中创建了一个hadoops文件夹,再将hadoop000的所有文件装入hadoop000文件中,当有新的机器加入时,在创建新的hadoopxxx的目录,文件结构如下。