1.在VMware中安装CentOS虚拟机,作为master 1)安装java JDK 2)安装hadoop 3)配置系统环境变量java_home和hadoop中java_home 4)配置hadoop伪分布式集群,验证配置正确性 5)虚拟机网络适配器选择NAT,并且手动设置IP和DNS2.对master进行克隆两次,生成的虚拟机分别命名为slaver1,slaver2 1)分别修改slaver1和slaver2中机器名,在/etc/sysconfig/network中分别设置HOSTNAME=slaver1,HOSTNAME=slaver2 2)登陆slaver1和slaver2虚拟机中,修改网络IP地址和DNS3.继续master中hadoop集群配置 1)master、slaver1、slaver2中/etc/hosts配置,如192.168.1.100 master,192.168.1.101 slaver1,192.168.1.102 slaver2这里的IP对应虚拟机手动设置的IP 2)在master虚拟机hadoop/conf的masters中配置192.168.1.100,在slaves中配置192.168.1.101(换行)192.168.1.102 使用scp命令,复制masters和slaves文件到slaver1和slaver2,如scp masters ivan:slaver1//usr/hadoop/conf/masters,scp slaves ivan:slaver1//usr/hadoop/conf/slaves 3)分别在master、slaver1、slaver2使用命名ssh-keygen rsa生成id_rsa.pub文件,在master的.ssh目录下创建authorized_keys文件,将master、slaver1、slaver2虚拟机的.ssh目录下id_rsa.pub文件内容拷贝到master的.ssh目录下创建authorized_keys文件中,使用scp命令将master的.ssh目录下创建authorized_keys文件复制到slaver1和slaver2中,完成集群免登陆配置 |
2.Hadoop集群搭建
最新推荐文章于 2024-04-27 23:53:56 发布