基于docker-compose安装hadoop 1+3模式集群
此处的样例是参考别人的,之后自己整合一套可以使用的1+3模式的集群。hadoop镜像可以自行在docker hub
选择自己想要的进行替换即可。
1、docker-compose.yml
:
version: "2.2"
services:
namenode:
image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
# 配置好 docker 内的假域名
hostname: namenode
container_name: namenode
ports:
- 9000:9000
- 50070:50070
restart: always
# 此处使用 network的模式 是host,意思是基于本地的hosts文件内容,此处用处在于和spark集群集成,以及便于外部访问随机生成的端口号
network_mode: 'host'
volumes:
- ./hadoop/namenode:/hadoop/dfs/name
- ./hadoop/input_files:/input_files
# environment参数可以添加在 env_file 中
environment:
- CLUSTER_NAME=test
# 配置 hdfs 用户权限问题,不需要只允许 hadoop 用户访问
- HDFS_CONF_dfs_permissions=false
# env_file中的参数可以配置在env_file
env_file:
- ./hadoop.env
resourcemanager:
image: bde2020/hadoop-resourcemana