前言
本节内容我们主要来介绍如何搭建hadoop集群,将hadoop的基础环境搭建完成,便于我们使用hadoop集群。在搭建hadoop集群搭建之前,我们需要先安装java环境,并且我们需要规划我们hadoop集群的组件分布,保证hadoop集群服务器能发挥其最大的价值。
hadoop集群组件分布如下:
hadoop101 | hadoop102 | hadoop103 | |
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
正文
- java环境安装
①上传java安装包到hadoop101服务器
②解压java安装包到/opt/module目录
命令:tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
③在/etc/profile.d目录下,新建环境变量配置文件my_env.sh
④在配置文件my_env.sh中添加java环境变量配置
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin
⑤让新的环境变量 PATH 生效,查看java环境配置是否生效
source /etc/profile
⑥分发java安装包到hadoop102和hadoop103服务器
hsync /opt/module/jdk1.8.0_212
⑦分发环境配置文件my_env.sh到hadoop102和hadoop103服务器
hsync /etc/profile.d/my_env.sh
⑧分别在hadoop102与hadoop103上面执行source /etc/profile,查看java是否安装完成
- hadoop安装
①上传hadoop安装包到hadoop101服务器
② 解压hadoop安装包到/opt/module目录
命令:tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
③获取hadoop安装目录/opt/module/hadoop-3.1.3
④在/etc/profile.d/my_env.sh环境变量配置文件中配置hadoop的环境变量
#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
⑤使配置的环境变量生效,并查看hadoop的安装情况
source /etc/profile
⑥分发hadoop安装包到hadoop102和hadoop103服务器
命令:hsync /opt/module/hadoop-3.1.3/
⑦分发环境配置文件my_env.sh到hadoop102和hadoop103服务器
hsync /etc/profile.d/my_env.sh
⑧分别在hadoop102与hadoop103上面执行source /etc/profile,查看hadoop是否安装完成
结语
本节内容到这里就结束了,关于hadoop的组件运行及启动,由于篇幅所限,我们在下节内容中再详细介绍,后会有期。。。。。。