Docker 上部署一主两从Hadoop集群 | [Centos7]

已于 2022-05-10 16:10:34 修改
阅读量5.5k 收藏 24
点赞数 43
分类专栏： # 云计算 文章标签： docker hadoop 容器
于 2022-05-05 23:37:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45712255/article/details/124599036
版权

本文目录

写在前面

配置前须知

  1. 请用root用户登录虚拟机，以保证有充分的操作权限
  2. 可以使用第三方终端来连接虚拟机，这样会让我们配置的效率更高
  3. 有良好的心态来应对可能出现的意料之外的问题，有问题可以留言或私信，博主将会第一时间回复
  4. 在中途配置的过程中，尽量不要重启虚拟机，以免配置失效，如果重启，可能需要重新配置/etc/下的文件
  5. 配置过程中的主机名等请自行修改为自己的个人所需信息

第三方终端可以使用Windows自带的cmd，也可以使用之前博主推荐过的Tabby，详见往期博客

集群规划

一主两从
在这里插入图片描述

step0 可能会遇到的问题及解决方式

CentOS7 启动Docker后进入tty命令行界面无法退出的解决方式 链接
CentOS7下Docker重启容器后防火墙因重置失效的解决方式 链接

step1 开启docker拉取镜像

Docker 镜像查看：
docker images在这里插入图片描述

拉取镜像：
docker pull registry.cn-beijing.aliyuncs.com/jing-studio/centos7-hadoop
进行中：
在这里插入图片描述
结束：
在这里插入图片描述

step2 创建容器

DMaster315:

docker run -d --name DMaster315 -h DMaster315 \
 -p 50070:50070 --privileged=true \
registry.cn-beijing.aliyuncs.com/jing-studio/centos7-hadoop /usr/sbin/init

在这里插入图片描述
DSlave01-315 && DSlave02-315:

docker run -d --name DSlave01-315 -h DSlave01-315 \
--privileged=true \
registry.cn-beijing.aliyuncs.com/jing-studio/centos7-hadoop /usr/sbin/init

docker run -d --name DSlave02-315 -h DSlave02-315 \
--privileged=true \
registry.cn-beijing.aliyuncs.com/jing-studio/centos7-hadoop /usr/sbin/init

在这里插入图片描述
docker images查看：
在这里插入图片描述
如果说你是直接在虚拟机的终端中操作的命令，可能会遇见跳转到了命令行模式，而没有了图形化界面，可以参考博主的这篇博客
CentOS7 启动Docker后进入tty命令行界面无法退出的解决方式：进入图形化界面

step3 免密登录配置

1. ip查看

如果此时你下载了第三方终端，建议开启三个标签页同时连接虚拟机，并使得三个标签页分别进入docker的三个机器：一个进入DMaster，一个进入DSlave01，另一个进入DSlave02
请先确认容器已经开启(docker ps查看所有已经开启的容器)，如果未开启，请用命令docker ps -a查看想要开启的容器的id，然后用命令docker start 容器id来开启
命令：

进入DMaster315，并进入该机器的命令行终端
docker exec -it DMaster315 /bin/bash
进入DSlave01-315，并进入该机器的命令行终端
docker exec -it DSlave01-315 /bin/bash
进入DSlave02-315，并进入该机器的命令行终端
docker exec -it DSlave02-315 /bin/bash

进入容器查看IP：
命令是：ip addr
172.17.0.2/16 DMaster315
在这里插入图片描述
172.17.0.3/16 DSlave01-315
在这里插入图片描述
172.17.0.4/16 DSlave02-315
在这里插入图片描述
整理一下：

172.17.0.2 DMaster315
172.17.0.3 DSlave01-315
172.17.0.4 DSlave02-315

2. 设置主机名

DMaster315
在这里插入图片描述
vi /etc/sysconfig/network
需要写入：

NETWORKING=yes
HOSTNAME=DMaster315

在这里插入图片描述
DSlave01-315
vi /etc/sysconfig/network
在这里插入图片描述

需要写入：

NETWORKING=yes
HOSTNAME=DSlave01-315

在这里插入图片描述

DSlave02-315:
vi /etc/sysconfig/network
在这里插入图片描述

需要写入：

NETWORKING=yes
HOSTNAME=DSlave02-315

在这里插入图片描述

3. 主机名与ip地址映射

在三个机器上操作
修改/etc/hosts
使得三个机器该文件都有以下三行：

172.17.0.2 DMaster315
172.17.0.3 DSlave01-315
172.17.0.4 DSlave02-315

DMaster315:
在这里插入图片描述
DSlave01-315:
在这里插入图片描述
DSlave02-315:
在这里插入图片描述
开启多个标签页分别进入三个机器配置效率真的的很高

4. 免密登录

安装passwd
yum install passwd
在这里插入图片描述
修改root密码，需要两次输入相同密码
DMaster315修改密码：
在这里插入图片描述DSlave01-315:
在这里插入图片描述DSlave02-315:
在这里插入图片描述
查看各个机器~/.ssh下是否有密钥文件（id_rsa.pub文件）
如果没有需要自己生成，已经有的话，查看三个机器的密钥文件是否相同

  1. 如果相同的话，只需要在三个机器分别连接其他机器
  2. 如果不相同的话，参考本人博客进行配置
    查看authorized_keys中是否包含有三个机器的id_rsa.pub
  3. 如果有，便不用追加进入authorized_keys
  4. 如果没有，需要将文件追加进入authorized_keys
    如果和博主一样三个机器均已经含有id_rsa.pub文件，并且authorized_keys 文件中已经含有三个机器的id_rsa.pub文件，可以不必进行任何修改

5. 免密登录效果

DMaster315 ssh 其他机器
在这里插入图片描述
DSlave01-315 ssh 其他机器：
在这里插入图片描述DSlave02-315 ssh 其他机器：
在这里插入图片描述
免密登陆成功

***bug fix1.0 /etc/hosts修改完成后重启容器失效

在配置完/etc/hosts之后，由于一些原因就关闭了虚拟机，再次打开之后发现免密登录失效
查看之后得知，在每次重启之后，/etc/hosts就会重置，因为运行容器是以挂载的方式进行的，所以就会在下次登陆的时候失效：
在这里插入图片描述

可以参考博客
解决方式：
要在三个机器的/etc/hosts中都含有ip和主机名的映射

在三个机器的~/.bashrc中分别添加：
为了方便复制：
是>>追加写，切勿少了一个大于号

# add 2 lines to fix the problem : restart container ,/etc/hosts reset
echo "172.17.0.3 DSlave01-315" >> /etc/hosts
echo "172.17.0.4 DSlave02-315" >> /etc/hosts
echo "172.17.0.2 DMaster315" >> /etc/hosts

Dmaster315:
在这里插入图片描述
DSlave01-315:
在这里插入图片描述

DSlave02-315:
在这里插入图片描述

然后必须要source ~/.bashrc，必须在三个机器上均进行source操作

step4 关闭防火墙

命令行关闭

命令是systemctl stop iptables.service
在三个机器都需要进行操作：
DMaster315:
在这里插入图片描述
DSlave01-315:
在这里插入图片描述DSlave02-315:
在这里插入图片描述

*** bug fix2.0 重启容器后，防火墙再次重启，影响集群正常工作

step5 hadoop配置文件修改

在DMaster315操作：
cd /usr/local/hadoop/etc/hadoop

1. core-site.xml

vim core-site<Tab>
配置文件中的主机名端口等根据自己实际情况修改，切勿盲目CV
property标签对要放在configuration标签对中

<configuration><property>
        			<name>fs.defaultFS</name>
        			<value>hdfs://DMaster315:9000</value>
    		    </property>
		    <property>
			 <name>hadoop.tmp.dir</name>
		              <value>/home/data/hadoopdata</value>
		    </property>
</configuration>

在这里插入图片描述

创建目录
mkdir -p /home/data
mkdir -p /home/data/hadoopdata

2. hdfs-site.xml

配置文件中的主机名端口等根据自己实际情况修改，切勿盲目CV
property标签对要放在configuration标签对中

<configuration>
    <property><!--配置存储namenode数据的目录-->
        <name>dfs.namenode.name.dir</name>
        <value>/home/data/hadoopdata/name</value>
    </property>
　<property><!--配置存储datanode数据的目录-->
        <name>dfs.datanode.data.dir</name>
        <value>/home/data/hadoopdata/data</value>
    </property>
　　<property><!--配置副本数量-->
        		<name>dfs.replication</name>
	        	<value>1</value>
        </property>　　
　　<property><!--配置第二名称节点，放到DMaster315 -->
　　　　	<name>dfs.secondary.http.address</name>
　　　　	<value>DMaster315:50090</value>
　　</property>
</configuration>

在这里插入图片描述

3. mapred-site.xml:

配置文件中的主机名端口等根据自己实际情况修改，切勿盲目CV
property标签对要放在configuration标签对中
首先运行命令：
cp mapred-site.xml.template mapred-site.xml
然后vim mapred-site.xml 

<configuration>
  	<property>
	    <name>mapreduce.Framework.name</name>
	    <value>yarn</value>
	</property>
</configuration>

在这里插入图片描述

4. yarn-site.xml

配置文件中的主机名端口等根据自己实际情况修改，切勿盲目CV
property标签对要放在configuration标签对中

<configuration>
    <property> <!--配置yarn主节点-->
        	<name>yarn.resourcemanager.hostname</name>
        	<value>DMaster315</value>
    </property>
    <property><!--配置执行的计算框架-->
        	<name>yarn.nodemanager.aux-services</name>
        	<value>mapreduce_shuffle</value>
    </property>
</configuration>

在这里插入图片描述

5. slaves

配置文件中的主机名端口等根据自己实际情况修改，切勿盲目CV
property标签对要放在configuration标签对中
在这里插入图片描述

6. 测试互联互通

Dmaster ping dslave01-315 dslave02-315:
在这里插入图片描述
Dslave01-315 ping dmaster315 dslave02-315:
在这里插入图片描述
DSlave02-315 ping DMaster315 DSlave01-315:
在这里插入图片描述
可以互联互通，接下来传送文件

7. 传送到其他节点

切换到对应的目录：
cd /usr/local/hadoop/etc/hadoop
命令：

传送到DSlave01-315
scp slaves root@DSlave01-315:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@DSlave01-315:/usr/local/hadoop/etc/hadoop 
scp yarn-site.xml root@DSlave01-315:/usr/local/hadoop/etc/hadoop/  
scp hdfs-site.xml root@DSlave01-315:/usr/local/hadoop/etc/hadoop
scp core-site.xml root@DSlave01-315:/usr/local/hadoop/etc/hadoop
scp -r /home/data/hadoopdata root@DSlave01-315:/home/
传送到DSlave02-315
scp slaves root@DSlave02-315:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@DSlave02-315:/usr/local/hadoop/etc/hadoop 
scp yarn-site.xml root@DSlave02-315:/usr/local/hadoop/etc/hadoop/  
scp hdfs-site.xml root@DSlave02-315:/usr/local/hadoop/etc/hadoop
scp core-site.xml root@DSlave02-315:/usr/local/hadoop/etc/hadoop
scp -r /home/data/hadoopdata root@DSlave02-315:/home/

传送给DSlave01-315:
在这里插入图片描述
传送给DSlave02-315:
在这里插入图片描述

step6 格式化节点

在三台机器分别执行：
hadoop namenode -format
DMaster315:
在这里插入图片描述
DMaster315格式化成功：
在这里插入图片描述DSlave01-315 格式化成功：
在这里插入图片描述
DSlave02-315 格式化成功：
在这里插入图片描述

step7 开启集群查看状态

开启集群

经典命令（应该记住的）：
/usr/local/hadoop/sbin/start-all.sh
现在切换到Dmaster315开启集群：
在中途输入了一个yes，应该是首次没有确认的原因
在这里插入图片描述
Jps信息查看：
DMaster315:
在这里插入图片描述DSlave01-315:
在这里插入图片描述DSlave02-315:

在这里插入图片描述
与预期设计一致~
在这里插入图片描述

查看运行状况

hadoop dfsadmin -report
在这里插入图片描述
在这里插入图片描述

datanode三个节点全有，配置齐全~
到DSlave01-315查看：
在这里插入图片描述
datanode三个节点全有，配置齐全~
到DSlave02-315查看：
在这里插入图片描述
datanode三个节点全有，配置齐全~

Web UI查看集群状态

进入虚拟机主机名的50070端口：

master315:50070
在这里插入图片描述
在这里插入图片描述
三个节点都有，配置齐全~
在这里插入图片描述
在这里插入图片描述
到这里，Docker上配置Hadoop集群配置完成，下面运行WordCount测试一下

***bug fix2.0 重启容器后，防火墙再次重启，影响集群正常工作

在博主重启完虚拟机之后（意味着容器也重启了），这个时候当博主再次启动集群之后，发现live datanode显示为1，当在两个DSlave01-315,DSlave02-315上进行操作的时候，发现从机无法与主机通过9000端口进行信息传输
错误如下：
在这里插入图片描述
发现Live datanodes为1不正常，到其他节点也出了问题：
在这里插入图片描述
在这里插入图片描述原因是因为容器重启导致的之前防火墙设置的失效，所以我们要进行修改~/.bashrc，使得一旦开启容器，便将防火墙关闭，解决方式如下：
DMaster315、DSlave01-315、DSlave02-315中的~/.bashrc添加：
vi ~/.bashrc

systemctl stop iptables.service

step8 运行wordCount

在DMaster315 运行:
hadoop fs -mkdir /input
hadoop fs -ls /
在这里插入图片描述
cd /usr/local/hadoop
touch in.txt
vim in.txt
写点东西进去
在这里插入图片描述
将in.txt文件添加到hdfs /input/下：
hadoop fs -put in.txt /input/

在这里插入图片描述
提交：

注意切换到和博主同样的目录具体可见下图：
cd share/hadoop/mapreduce
在这里插入图片描述
提交命令：

hadoop jar hadoop-mapreduce-examples-2.7.6.jar \
wordcount  /input  /output

提交之后：
在这里插入图片描述
查看结果：
在这里插入图片描述
状态显示成功
命令查看：
hadoop fs -cat /output/part-r-00000

在这里插入图片描述
结果正确！
关闭集群

在这里插入图片描述

如果有的地方不对，请及时联系/评论/私信博主进行修改
更文不易，麻烦点个赞
在这里插入图片描述
在这里插入图片描述
分享下一篇文章：
阿里云镜像服务关联Github上传Docker容器制作的镜像 链接

PushyTao
关注
  • 43
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
Docker搭建Hadoop集群
weixin_42258633的博客
06-25 6158
docker搭建hadoop集群
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1879
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
【企业级】Docker项目实战：一键部署Hadoop集群（跨物理节点）
03-30
此课程是Docker技术+Hadoop技术+ Linux Shell编程的深度综合应用。本课程的成果，自己平时工作学习就能用，可以轻松在自己笔记本上启动10~20个分布式节点！在找工作和面试时，能用它进行演示，展示自己的水平，为自己加分！只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建、Docker存储驱动使用、Docker bridge网络、Docker Overlay网络、基于Docker的分布式集群构建、Hadoop集群构建等多种技术的综合应用。  
在Linux服务器上使用docker部署高可用HDFS
qq_44643155的博客
07-25 517
docker搭建分布式HDFS
使用Docker轻松部署Hadoop集群
最新发布
gitblog_00090的博客
05-12 322
使用Docker轻松部署Hadoop集群 项目地址:https://gitcode.com/kiwenlau/hadoop-cluster-docker 项目介绍 在大数据处理领域，Hadoop是一个不可或缺的名字，它为分布式存储和计算提供了强大的平台。而本开源项目Run Hadoop Cluster within Docker Containers则让部署Hadoop集群变得前所未有的简单。通过...
[零基础]用docker搭建Hadoop集群
热门推荐
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
mac上基于docker搭建hadoop集群
01-20
对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
docker一键安装hadoop集群
10-14
【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。
Docker基础及简单部署
qq_42890862的博客
01-05 9993
一、 基本原理 容器就是在隔离的环境中运行的一个进程，如果进程停止，容器就会退出，Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包打包到一个可移植的容器中，然后发布（C/S架构，本机是客户端，可以理解为docker引擎就是服务端） 二、优点 共用宿主机内核，轻量级，损耗少，启动快，性能高，运行在linux系统上，能够对应用程序及应用程序的运行环境进行打包，防止因环境而造成的各种影响 三、与传统虚拟化方式对比 四、docker三要素 1、 仓库：Docker仓库是用来存储镜像的
Docker部署系列：搭建Hadoop 集群
CancerKing的博客
02-22 377
Docker部署系列：搭建Hadoop 集群
大数据云计算——Docker环境下部署Hadoop集群及运行集群案列
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-13 2013
本文着重介绍了在Docker环境下部署Hadoop集群以及实际案例中的集群运行。首先，文章详细解释了Hadoop的基本概念和其在大数据处理中的重要性，以及为何选择在Docker环境下部署Hadoop集群。接着，阐述了在Docker中配置和启动Hadoop集群所需的步骤和技术要点。通过本文，读者可以深入了解如何利用Docker环境快速搭建Hadoop集群，并通过案例展示集群的运行过程，为大数据云计算中的Hadoop应用提供了实用的指导和参考。
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
kOS0ym的博客
05-10 434
*看看本地端口9000也确实起来了。
基于docker搭建Hadoop集群
Smile Wang
12-02 408
准备环节 云服务器一个 1下载好docker 2docker下载centos镜像(我下载的centos8) docker pull centos 3启动容器同时进入启动的容器进行相关操作 docker run -it --name centos-1 centos /bin/bash 4配置时区(别人配了咱也配一下吧) ln -sf /usr/share/zoneinfo/...
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群
weixin_46192593的博客
06-26 852
大数据相关博客的目录 实现原理 以一主二从的Hadoop集群为例，在搭建时，需要如下条件： 启动三台机器 三台机器要相互和自身免密登录 每台机器都要有Java和Hadoop的环境，并且Hadoop的配置文件也要相同 基于这个条件，构建一个已经安装好相关软件的CentOS7镜像。 在启动镜像时，设置数据挂载卷到指定目录，作为Java、Hadoop以及以后的Storm、Hive等...
VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）
H_X_P_的博客
11-06 1817
“想要用docker搭建Hadoop集群吗？ 想要的话可以看我这篇博客！ 我把好多坑都走了，尽情复制吧！”
在centos使用docker安装配置hadoop集群
01-24
在CentOS上使用Docker安装和配置Hadoop集群可以按照以下步骤进行： 1. 安装Docker：首先，确保您的CentOS服务器已经安装了Docker。您可以通过运行以下命令来安装Docker： ``` sudo yum install docker sudo systemctl start docker sudo systemctl enable docker ``` 2. 下载Hadoop Docker镜像：您可以从Docker官方仓库下载Hadoop镜像，此镜像已经预先配置好了Hadoop环境。运行以下命令来下载Hadoop镜像： ``` sudo docker pull sequenceiq/hadoop-docker ``` 3. 创建Hadoop容器：使用下载的Hadoop镜像创建一个Docker容器。运行以下命令： ``` sudo docker run -it sequenceiq/hadoop-docker /etc/bootstrap.sh -bash ``` 4. 进入容器并配置集群：进入Hadoop容器的bash终端： ``` sudo docker exec -it 容器ID /bin/bash ``` 在容器中配置Hadoop集群。这涉及到编辑Hadoop配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件。 5. 启动Hadoop集群：在容器内，运行以下命令来启动Hadoop集群： ``` /usr/local/hadoop/sbin/start-dfs.sh /usr/local/hadoop/sbin/start-yarn.sh ``` 6. 验证集群安装：使用浏览器打开 http://localhost:8088 和 http://localhost:50070 来访问YARN界面和Hadoop HDFS界面，以确认集群已经正确安装并启动。 以上是在CentOS上使用Docker安装和配置Hadoop集群的简要步骤，您可以根据需要和配置进行进一步的调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值