一、环境
系统版本 centos7.6
docker版本 Docker version 20.10.10
准备文件:
hadoop-3.3.1.tar.gz #hadoop安装包
hadoopfiles.tar.gz #hadoop内部各种配置文件
jdk1.8.0_201.tar.gz #安装java环境
二、制作shh容器
拉取centos:7镜像
三、使用dockerfile编写Hadoop
四、创建docker桥接网络
五、脚本配置免密登录
六、配置JDK环境变量
七、更改Hadoop配置
注意这几个文件的配置,非常重要
#节点
workers
#环境
hadoop-env.sh
#核心配置
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
八、格式化集群
九、启动集群服务
启动HDFS服务
启动YARN服务
再次查看集群已正常
可以在hdfs网页查看数据目录
查看yarn执行状况
至此,本次hadoop集群测试实验OK ❤❤❤❤❤