hadoop分布式集群搭建及其常见问题

hadoop分布式集群的搭建
这里我用3台虚拟机搭建hadoop集群——分别为：mini1、mini2、mini3。hadoop版本为：hadoop-2.8.4版本。
下载地址：hadoop-2.8.4密码：nt81

1. 配置三台虚拟机主机映射：
   修改/etc/hosts文件

#主机IP		映射名称
192.168.111.32 mini1
192.168.111.34 mini2
192.168.111.33 mini3

没有配置主机映射，则在启动集群时会报如下错误：

2. 配置三台虚拟机免密登录：

ssh-keygen 					#生成公钥与私钥
ssh-copy-id 映射名称			#将公钥分发给其他三台机器（包括自己）
							#分发完之后可以用ssh 主机名检查是否配置成功

若没有配置免密登录，则在启动集群时会让输所有机器的密码:

3. 关闭三台虚拟机防火墙机器selinux(此配置可以不改)：

vim /etc/sysconfig/selinux			#linux的安全认证
修改SELINUX=disabled
service iptables status             #查看防火墙状态
service iptables stop				#关闭防火墙
chkconfig iptables off				#关闭防火墙开机自启

4. 上传JDK安装包并解压（若已安装openjdk，请先卸载之后再装JDK），修改/etc/profile文件，添加环境变量：
   这里我解压在/usr/local目录里

rpm -qa|grep jdk    											#检查是否已经安装