环境准备:
Hadoop 集群的安装配置大致为如下流程:
- 选定一台机器作为 master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 在 Master 节点上安装 Hadoop,并完成配置
- 在其他 Node 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Node 节点上
- 在 Master 节点上开启 Hadoop
- 版本:
[hadoop@master ~]$ hadoop version
Hadoop 2.7.2
.....
节点对应IP:
- 172.16.151.10 master
- 172.16.151.20 node1
- a) 配置网络连接、主机名、修改/et c/hosts
- b) 禁用SElinux - SELINUX=disabled
- c) 关闭防火墙
- d) 测试网络连接
[hadoop@master ~]$ ping node1 -c 2
[hadoop@node1 ~]$ ping master -c 2
配置SSH无密登陆节点
这个操作是要让 master 节点可以无密码 SSH 登陆到各个 node 节点上
[hadoop@master hadoop]$ cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost
[hadoop@master hadoop]$ rm ./id_rsa* # 删除之前生成的公匙(如果有)
[hadoop@master hadoop]$ ssh-keygen -t rsa # 一直按回车就可以
[hadoop@master hadoop]$ cat ./id_rsa.pub >> ./authorized_keys
完成后可执行 ssh Master 验证一下(可能需要输入 yes,成功后执行 exit 返回原来的终端)
接着在 Master 节点将上公匙传输到 Node1 节点:
[hadoop@master hadoop]$ scp ~/.ssh/id_rsa.pub hadoop@Node1:/home/hadoop/
接着在 Node1 节点上,将 ssh 公匙加入授权:
[hadoop@node1 ~]$ mkdir ~/.ssh # 如果不存在该文件夹需先创建,若已存在则忽略
[hadoop@node1 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@node1 ~]$ rm ~/id_rsa.pub # 用完就可以删掉了
配置环境变量:
将Hadoop
安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用hadoo、hdfs 等命令了,需要在 Master 节点上进行配置。
[hadoop@master ]$ vim ~/.bashrc,加入一行:
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
[hadoop@master hadoop]$ source ~/.bashrc
配置集群/分布式模式
[hadoop@master hadoop]$ cd
/usr/local/hadoop/etc/hadoop
文件
slaves