集群配置
Hadoop集群部署概图
修改各个机器的hostname
为了方便,重命名各机器为图中各个hostname,后面配置就可以使用hostname而不是IP地址。
使用root用户在各个机器上执行(各个机器序号需要改变)
hostname node01#修改完所有机器的hostname后,将IP和hostname的对应关系写到所有机器的 /etc/hosts 文件中- 在各个机器上添加hadoop用户,并修改密码
后面集群的配置和启动都用hadoop来操作
useradd hadoop #添加hadoop用户passwd hadoop #修改hadoop用户密码 配置各个机器间相互免密登陆
su hadoop #切换到hadoop用户,后面的命令,没有特殊说明,都是使用hadoop用户操作
ssh-keygen -t -rsa #生成密钥,一直按回车即可
ssh-copy-id -i node01 #将生成的公钥copy到所有集群上01-05,包括生成密钥的本机。即node01 拷贝到node01-05, node02 拷贝到node01-node05 以此类推创建目录用于保存搭建集群相关的代码和工具
cd ~ #到hadoop home目录
mkdir apps # 创建apps目录,用于存放于搭建集群相关的代码和工具。集群所有机器都需要创建该目录安装JDK
将下载好的JDK copy到刚创建的apps目录下
tar -zxvf jdk-8u121-linux-x64.tar.gz #解压jdk
su root #下面几步的操作需要root权限
ln -s /home/hadoop/app/jdk1.8.0_121 /usr/local/jdk #创建jdk的软连接,所有机器都是相同的目录,为了操作和配置方便
vim /etc/profile # 打开该文件并在文末添加:
export JAVA_HOME=/usr/local/jdk ,然后保存文件source /etc/profile #重新加载环境配置文件
su hadoop #切换回hadoopscp -r /home/hadoop/app/jdk1.8.0_121 hadoop@node02:/home/hadoop/app #将jdk拷贝到集群中其他机器上,然后重复上面的安装JDK步骤java -version #在集群中任一台机器上执行,有如下信息,说明JDK安装成功