2.Hadoop集群搭建

1.在VMware中安装CentOS虚拟机，作为master   1）安装java JDK   2）安装hadoop   3）配置系统环境变量java_home和hadoop中java_home   4）配置hadoop伪分布式集群，验证配置正确性   5）虚拟机网络适配器选择NAT，并且手动设置IP和DNS2.对master进行克隆两次，生成的虚拟机分别命名为slaver1，slaver2   1）分别修改slaver1和slaver2中机器名，在/etc/sysconfig/network中分别设置HOSTNAME=slaver1，HOSTNAME=slaver2   2）登陆slaver1和slaver2虚拟机中，修改网络IP地址和DNS3.继续master中hadoop集群配置   1）master、slaver1、slaver2中/etc/hosts配置，如192.168.1.100 master，192.168.1.101 slaver1，192.168.1.102 slaver2这里的IP对应虚拟机手动设置的IP   2）在master虚拟机hadoop/conf的masters中配置192.168.1.100，在slaves中配置192.168.1.101（换行）192.168.1.102       使用scp命令,复制masters和slaves文件到slaver1和slaver2，如scp masters ivan:slaver1//usr/hadoop/conf/masters，scp slaves ivan:slaver1//usr/hadoop/conf/slaves   3)分别在master、slaver1、slaver2使用命名ssh-keygen rsa生成id_rsa.pub文件，在master的.ssh目录下创建authorized_keys文件，将master、slaver1、slaver2虚拟机的.ssh目录下id_rsa.pub文件内容拷贝到master的.ssh目录下创建authorized_keys文件中，使用scp命令将master的.ssh目录下创建authorized_keys文件复制到slaver1和slaver2中，完成集群免登陆配置