在docker容器中安装3/N个节点的hadoop伪分布式集群

1.首先安装CentOS7虚拟机。https://blog.csdn.net/qq_28358461/article/details/88686389
2.在虚拟机上执行 yum -y install docker 命令,安装docker容器
3. service docker start 启动docker
4. Hadoop集群创建单独的网络:
sudo docker network create --driver=bridge hadoop
5.sudo docker pull kiwenlau/hadoop:1.0 拉取github上得一个镜像
6.下载GitHub仓库 (yum install -y git 安装git插件)
git clone https://github.com/kiwenlau/hadoop-cluster-docker 项目代码
7. 运行docker 容器 cd hadoop-cluster-docker
./start-container.sh
运行结果:
start hadoop-master container…
start hadoop-slave1 container…
start hadoop-slave2 container…
root@hadoop-master:~#

8.启动hadoop ./start-hadoop.sh
9.运行wordcount
./run-wordcount.sh
运行结果
input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker 1
Hadoop 1
Hello 2
Hadoop网页管理地址:
• NameNode: http://192.168.10.161:50070/
• ResourceManager: http://192.168.10.161:8088/
192.168.59.1为运行容器的主机的IP。
10.N个节点得集群搭建步骤
10.1. 准备
参考第一部分4~6:下载Docker镜像,下载GitHub仓库,以及创建Hadoop网络

 10.2. 重新构建Docker镜像
          ./resize-cluster.sh 5
          可以指定任意N(N>1)
 10.3. 启动Docker容器
         ./start-container.sh 5
         与第10.2步中的N保持一致。
 10.4. 运行Hadoop
        参考第一部分8~9:启动Hadoop,并运行wordcount。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值