1.2.1 新增hadoop用户
已有
没有的话使用该命令
groupadd hadoop
useradd -g hadoop -m -d /home/hadoop -s /bin/bash hadoop
在三台机器
1.2.2 防火墙检查
此处我的代表已被关闭
如果没有,执行如下命令
systemctl disable firewalld # 禁用防火墙
systemctl stop firewalld #关闭防火墙
顺便还要检查所有机器是否能相互ping通
All right. 如果不能,要进行处理,需得注意IP配在同一网段。VM虚拟机可能会为你准备两块虚拟网卡。在三个系统里需要激活同一块
1.2.3 设置免秘登录
在任意一台机器上,这里我使用的masternode,收集其他机器的ssh公钥。
ssh-keygen -t rsa
执行完这条命令之后会在~/下产生文件夹.ssh
将三个节点的id_rsa.pub的内容复制到masternode下的authorized_keys文件中去(这个文件是要自己新建的),然后将其分发到slavenode1和slavenode2的相同目录下。
这个操作用于免密通信,方便等下的文件分发
弄完之后测试下能否进行免密登录
如图示中进行ssh来连接并且没有要求输入密码则视为成功,注意一定要进行六组两两测试。
如果发生了ssh,connort connection的错误,那么认为是ssh隧道坍塌。须在待连接端重启ssh服务。这个服务名在centos7下为sshd,在centos6下是ssh,在其他debian系和arch系Linux下一般为sshd
systemctl restart sshd
1.2.4 修改主机名
修改三台机器的/etc/hosts文件
加入如下内容。为了等下能在物理主机上访问HDFS web管理工具。还需要在本地进行该映射。不过在Windows下,要修改的是C:\Windows\System32\drivers\etc\hosts
这个文件一般来讲是不能直接编辑的,需要修改权限。
右键属性->安全->编辑
添加
把登录用户名写进去
添加写入权限
1.2.5 脚本准备
这是一个批处理脚本,转载自网友“子墨良言”
通过它可以方便地在一整个集群当中执行相同的命令并获得回显。
de