Hadoop分布式环境搭建(一)
安装VMWare。本测试所用版本为VMware® Workstation 12 Pro。
下载地址http://www.vmware.com/go/tryworkstation-win-cn
在VMware上搭建虚拟机。本测试所用版本为CentOS7.2。
下载地址https://www.centos.org/download/
添加测试用户,并将其设置为管理员
添加用户添加用户添加用户添加用户添加用户
useradd hadoop
修改密码
passwd hadoop
获取root权限
vi /etc/sudoers
找到文件中
root ALL=(ALL) ALL
所在行,按下o
在该行下面输入输入hadoop ALL=(ALL) ALL
修改主机名
首先查看/etc/hosts
的权限信息
ls -la /etc/hosts
若没有写权限可为当前用户添加写权限
sudo chmod 664 /etc/hosts
修改主机名
vi /etc/hosts
本测试使用了三台虚拟机,在末尾添加三行设置信息
172.16.58.128 Master
172.16.58.129 Slave1
172.16.58.130 Slave2
使用ping
命令进行测试
ping Slave1
ping 能连通说明配置成功了
关闭防火墙(minimal跳过)
service iptables stop
chkconfig iptables off ## 关闭防火墙开机自动启动
service ip6tables stop
chkconfig ip6tables off ##关闭防火墙开机自动启动
如果是Firewall防火墙(centOS7默认)
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
关闭Selinux(minimal跳过)
vi /etc/sysconfig/selinux
找到文件中的SELINUX一行,修改并保存
SELINUX=disabled
在命令行输入
setenforce 0 #关闭selinux防火墙getenforce # 查看selinux的状态
显示Disabled说明设置成功
网络设置
本测试采用的动态分配IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
设置
ONBOOT=yes
BOOTPROTO=dhcp
保存后重启
service network restart
查看ip
ip addr
SSH免密码登录
首先生成密钥
ssh-keygen -t rsa
在~/.ssh/下会生成两个文件,使用scp命令将公钥发送到远程服务器,这样连接远程服务器时将不再需要输入密码
scp id_rsa.pub hadoop@Slave1:/home/hadoop/.ssh/authorized_keys_from_Master
在远程服务器上
cat authorized_keys_from_Master >>authorized_keys
测试
ssh Slave1
如果直接登录成功说明设置正确,需要为每一台Slave设置免登陆,使Master也就是NameNode可以免密码登录到任意一台dataNode。