Docker入门（十二）：制作hadoop3.0.3集群镜像

最新推荐文章于 2024-05-15 07:09:07 发布
最新推荐文章于 2024-05-15 07:09:07 发布
阅读量2.3k 收藏 7
点赞数
分类专栏： Docker Hadoop 文章标签： Hadoop Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/98043754
版权

文章目录


https://blog.csdn.net/sujiangming/article/details/88884679

一、环境

docker版本

[root@localhost opt]# docker --version
Docker version 19.03.1, build 74b1e89

docker网络

[root@localhost opt]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
d05f84a8746f        bridge              bridge              local
398d73e5b1ed        hadoop_net          bridge              local
da5e746c4d2e        host                host                local
bfa3adcc971d        none                null                local
IP主机名HDFSMapReduce/Yarn
172.10.0.2masterNameNodeResourceManager
172.10.0.3slave1DataNodeNodeManager
172.10.0.4slave2DataNodeNodeManager

安装hadoop参考之前的博客：https://blog.csdn.net/qq_39680564/article/details/89513162#51NameNode_232

二、运行zookeeper集群镜像

镜像制作方法：https://blog.csdn.net/qq_39680564/article/details/97941048
从仓库拉取镜像

docker pull 192.168.0.20:5000/zookeeper:slave2
docker pull 192.168.0.20:5000/zookeeper:slave1
docker pull 192.168.0.20:5000/zookeeper:master

启动master：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.2 \
-h master \
-p 10022:22 \
-p 2181:2181 \
-p 2887:2888 \
-p 3887:3888 \
-p 9870:9870 \
-p 8088:8088 \
--restart always \
--name master \
192.168.0.20:5000/zookeeper:master

启动slave1：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.3 \
-h slave1 \
-p 20022:22 \
-p 2182:2181 \
-p 2888:2888 \
-p 3888:3888 \
-p 9864:9864 \
-p 8042:8042 \
--restart always \
--name slave1 \
192.168.0.20:5000/zookeeper:slave1

启动slave2：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.4 \
-h slave2 \
-p 30022:22 \
-p 2183:2181 \
-p 2889:2888 \
-p 3889:3888 \
-p 9865:9864 \
-p 8043:8042 \
--restart always \
--name slave2 \
192.168.0.20:5000/zookeeper:slave2

三、配置环境变量

将hadoop包复制到容器中

docker cp hadoop-3.0.3 master:/opt/
docker cp hadoop-3.0.3 slave1:/opt/
docker cp hadoop-3.0.3 slave2:/opt/

vim ~/.bashrc

新增内容

# hadoop
export HADOOP_HOME=/opt/hadoop-3.0.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

刷新生效

source ~/.bashrc

如图
在这里插入图片描述

四、修改配置文件（三台服务器同步操作）

4.1 修改hadoop-env.sh文件

vim /opt/hadoop-3.0.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk-1.8
export HADOOP_HOME=/opt/hadoop-3.0.3

如图
在这里插入图片描述

4.2 修改core-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>

如图
在这里插入图片描述

4.3 修改yarn-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/yarn-site.xml

<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8025</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8050</value>
</property>

如图
在这里插入图片描述

4.4 修改mapred-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/mapred-site.xml

<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

如图
在这里插入图片描述

4.5 修改hdfs-site.xml文件（master）

创建数据目录

mkdir -p /data/hadoop/hadoop_data/hdfs/namenode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/namenode</value>
</property>

如图
在这里插入图片描述

4.6 修改hdfs-site.xml文件（slave1）

创建数据目录

mkdir -p /data/hadoop/hadoop_data/hdfs/datanode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/datanode</value>
</property>

如图
在这里插入图片描述

4.7 修改hdfs-site.xml文件（slave2）

创建数据目录

mkdir -p /data/hadoop/hadoop_data/hdfs/datanode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/datanode</value>
</property>

如图

4.8 修改workers文件

vim /opt/hadoop-3.0.3/etc/hadoop/workers

slave1
slave2

如图
在这里插入图片描述

4.9 修改start-dfs.sh和stop-dfs.sh文件

vim /opt/hadoop-3.0.3/sbin/start-dfs.sh
vim /opt/hadoop-3.0.3/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

如图
在这里插入图片描述
在这里插入图片描述

4.10 修改start-yarn.sh和stop-yarn.sh文件

vim /opt/hadoop-3.0.3/sbin/start-yarn.sh
vim /opt/hadoop-3.0.3/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

如图
在这里插入图片描述
在这里插入图片描述

五、启动Hadoop集群

5.1初始化NameNode（在master上操作）

/opt/hadoop-3.0.3/bin/hadoop namenode -format

初始化成功，为0成功
在这里插入图片描述

5.2启动HDFS（在master上操作）

 /opt/hadoop-3.0.3/sbin/start-dfs.sh 

[root@master ~]# /opt/hadoop-3.0.3/sbin/start-dfs.sh 
Starting namenodes on [master]
Last login: 四 8月  1 14:01:36 CST 2019 on pts/0
Starting datanodes
Last login: 四 8月  1 14:02:36 CST 2019 on pts/0
Starting secondary namenodes [master]
Last login: 四 8月  1 14:02:39 CST 2019 on pts/0
2019-08-01 14:03:03,804 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在这里插入图片描述

5.3启动yarn（在master上操作）

/opt/hadoop-3.0.3/sbin/start-yarn.sh

[root@master ~]# /opt/hadoop-3.0.3/sbin/start-yarn.sh
Starting resourcemanager
Last login: 四 8月  1 14:02:50 CST 2019 on pts/0
Starting nodemanagers
Last login: 四 8月  1 14:05:12 CST 2019 on pts/0

在这里插入图片描述

5.4查看进程

master

[root@master ~]# jps 
33 QuorumPeerMain
249 NameNode
507 SecondaryNameNode
1067 Jps
749 ResourceManager

slave1

[root@slave1 ~]# jps
33 QuorumPeerMain
249 NodeManager
138 DataNode
382 Jps

slave2

[root@slave2 ~]# jps
33 QuorumPeerMain
243 NodeManager
132 DataNode
376 Jps

5.5访问

HDFS
192.168.0.138:9870
192.168.0.138:9864
192.168.0.138:9865
YARN
192.168.0.138:8088
192.168.0.138:8042
192.168.0.138:8043

六、保存，上传镜像

保存镜像

docker commit master 192.168.0.20:5000/hadoop:master
docker commit slave1 192.168.0.20:5000/hadoop:slave1
docker commit slave2 192.168.0.20:5000/hadoop:slave2

上传镜像至仓库

docker push 192.168.0.20:5000/hadoop:master
docker push 192.168.0.20:5000/hadoop:slave1
docker push 192.168.0.20:5000/hadoop:slave2

启动方法
master

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.2 \
-h master \
-p 10022:22 \
-p 2181:2181 \
-p 2887:2888 \
-p 3887:3888 \
-p 9870:9870 \
-p 8088:8088 \
--restart always \
--name master \
192.168.0.20:5000/hadoop:master

slave1

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.3 \
-h slave1 \
-p 20022:22 \
-p 2182:2181 \
-p 2888:2888 \
-p 3888:3888 \
-p 9864:9864 \
-p 8042:8042 \
--restart always \
--name slave1 \
192.168.0.20:5000/hadoop:slave1

slave2

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.4 \
-h slave2 \
-p 30022:22 \
-p 2183:2181 \
-p 2889:2888 \
-p 3889:3888 \
-p 9865:9864 \
-p 8043:8042 \
--restart always \
--name slave2 \
192.168.0.20:5000/hadoop:slave2

先启动zookeeper，再启动hdfs，最后启动yarn

/opt/zookeeper-3.4.10/bin/zkServer.sh start #每台服务器启动zookeeper
/opt/zookeeper-3.4.10/bin/zkServer.sh status #查看启动状态
/opt/hadoop-3.0.3/sbin/start-dfs.sh	#master启动HDFS
/opt/hadoop-3.0.3/sbin/start-yarn.sh #master启动yarn
刘李404not found
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
docker-hadoop3:带有Hadoop 3.3.0的Docker映像中使用的示例代码的存储库
04-11
:elephant: |在Docker上运行Hadoop 3.3.0 | :ship: 本指南旨在帮助通过Docker执行Hadoop Map Reduce。 通过Hadoop流，使用Java和Python中的作业减少了对作业图的测试。 示例作业的代码取自《数据科学家的Hadoop基础》一书（ ）。 请记住，在本指南中，我不会向您展示如何在Docker上安装Hadoop，该映像已准备就绪，只需按照说明进行测试即可。 在具有Ubuntu发行版Linux机器上完成了以下步骤。 首先，您需要安装码头工人，如果没有，请运行以下命令： 须藤apt-get install docker.io 列出正在运行的容器以了解docker是否正在工作。 须藤码头工人ps -a 下载Docker镜像 sudo docker pull gutomelo / hadoop3 下载映像后，创建Hadoop容器。 sudo dock
[Container]Hadoop集群镜像打包
focus：Follow One Cause Until Success
07-07 763
在使用学习Hadoop等相关大数据产品时，为更好的学习和理解分布式的理念和操作，在学习时一般采用多机器的方式进行学习。一般情况下，可以采用通过虚拟机和云服务器等方式满足机器不足等问题。考虑到，云服务器成本过高，虚拟机资源性能等问题，博主决定采用容器的方法来学习搭建Hadoop集群。以便更好的学习Hadoop、容器、Shell等相关概念。
使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(4)
2401_84181368的博客
05-15 469
国内从 Docker Hub 拉取镜像有时会遇到困难，此时需要配置国内镜像源进行加速Windows 安装的 Docker Desktop 配置十分简单，只需要在任务栏托盘 Docker 图标内右键菜单选择 Settings，打开配置窗口后在左侧导航菜单选择 Docker Engine，在右侧像下边一样编辑 json 文件，之后点击 Apply & Restart 保存后 Docker 就会重启并应用配置的镜像地址了。配置完成之后，在 PowerShell 使用命令，如果控制台输出如下内容，说明配置成功。
Docker容器搭建Hadoop集群(hadoop-3.1.3)
2202_75688394的博客
04-20 1302
Docker容器环境下搭建Hadoop集群（完全分布式） hadoop版本为hadoop-3.1.3
使用docker安装分布式hadoop（阿里hadoop镜像）
m0_67390969的博客
08-27 4677
前面使用了docker自带的镜像安装，那么这篇使用阿里镜像搭建hadoop集群，也参考了网上部分播客，但是多多少少有问题，我这篇播客是全部经过实践测试成功跑起来的。
docker构建hadoop镜像、docker-compose启动hdfs
weixin_42820161的博客
07-25 1204
docker构建hadoop镜像、docker-compose启动hdfs
docker-hadoop：Apache Hadoop Docker映像
02-02
docker-hadoop：Apache Hadoop Docker映像
docker 常用镜像下载： jdk8-alpine3.9
最新发布
06-01
加载镜像：docker load -i jdk8.tar
在Docker中跑Hadoop与镜像制作方法
01-10
重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；   Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可； 配置文件准备 1、Hadoop相关配置文件：core-...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
docker-hadoop:主要Apache Hadoop组件（YarnHdfs）的Docker映像
05-27
Apache Hadoop Docker映像 这些图像是Bigdata docker。 所有映像都使用相同的，该包含用于在容器化环境中启动不同项目的。 有关可用环境变量的更多详细说明，请参见flokkr/docker-baseimage存储库中的flokkr/docker...
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
docker制作hadoop镜像
惊云
03-30 705
环境： Centos 8.1 hadoop 3.3.0 1，阿里yum源下载地址 wget https://mirrors.aliyun.com/repo/Centos-8.repo 1,拉取Centos8.1镜像 [root@centos8 build]# docker pull centos:8.1.1911 8.1.1911: Pulling from library/centos 8a29a15cefae: Pull complete Digest: sha256:fe8d82422041
【纯脚本版】docker自主搭建Hadoop3.2.0 HBASE2.1.6 Spark2.4.8三节点集群（含docker镜像制作过程）
学亮编程手记
08-17 721
代码】【纯脚本版】docker自主搭建Hadoop3.2.0 HBASE2.1.6 Spark2.4.8三节点集群（含docker镜像制作过程）
基于docker搭建的hadoop集群（省去配置hadoop镜像，直接从远程仓库pull镜像）
weixin_41716072的博客
04-10 841
1.安装Docker 后面的docker上搭建hadoop集群参考了：基于Docker搭建Hadoop集群之升级版 所以这里主要讲下怎么安装docker以及一些注意事项 更新yum源 yum -y update 安装docker yum install docker -y 启动docker systemctl start docker.service 安装杂七杂八的工具 yum ...
hadoop学习-搭建虚拟机镜像(要使用centos7版本)
烟酒-社会潇洒哥的博客
07-22 282
一，安装docker 步骤省略 二、 参考实例 https://www.cnblogs.com/Jing-Wang/p/10672609.html 启动centos https://www.cnblogs.com/omgasw/p/13680033.html 开启ssh服务 https://www.cnblogs.com/surplus/p/14102884.html 日期替代 https://blog.csdn.net/qq_26530173/article/details/107904520 .
利用docker搭建hadoop的开发环境（超简单）
杨先森的专栏
04-01 6664
前言 本文是基于ubuntu环境完成的，要完成hadoop的安装，必须先在ubuntu上安装docker, 一、下载hadoop镜像 1、换到root用户 执行 su root 这样做是方便执行命令 2、下载镜像 执行 dock...
docker desktop ubuntu镜像_基于 Docker 构建 Hadoop 平台
weixin_39774644的博客
11-20 530
基于Docker的Hadoop集群构建0. 绪论使用Docker搭建Hadoop技术平台，包括安装Docker、Java、Scala、Hadoop、 Hbase、Spark。集群共有5台机器，主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master，其他的为 slave。JDK 1.8Scala 2.11.6Hadoop 3.2.0Hbase 2.1.3Spark 2....
docker搭建Hadoop 3节点及N节点集群完整教程
学亮编程手记
08-17 743
将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。如下图所示，Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。...
Docker入门教程：从基础到镜像制作
"这份资料是关于Docker的入门教程，主要涵盖了Docker的基本概念、安装、镜像管理和容器操作等内容，适合初学者学习。" 在深入理解Docker之前，我们首先需要了解它是什么。Docker是一种应用容器技术，它允许开发者...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值