基于 kaibb/hadoop 镜像快速搭建 Hadoop 集群环境,便于快速开发
一,Master 节点
- 拉取镜像
docker pull registry.aliyuncs.com/kaibb/hadoop
- 查看镜像是否拉取成功
docker images
- 启动镜像
DFS、YARN 要分别用到 50000、8880端口的映射(这个端口自定义)
44c31aee79de 为镜像ID
docker run -itd --name hadoop-Master -h Master -p 50070:50070 -p 8088:8088 44c31aee79de /bin/bash
- 进入容器
d9fceab5680c 为镜像ID
docker exec -ti d9fceab5680c /bin/bash
- 格式化 namenode
hadoop namenode -format
- 运行DFS
start-dfs.sh
如果出现下图所示错误:
开启 ssh 服务即可
service ssh restart
再次执行 start-dfs.sh 出现下图所示(都选yes)
访问 http://192.168.136.151:50070
- 运行 YARN
start-yarn.sh
访问 http://192.168.136.151:8088
二,Salave 节点
未完待续