Docker配置Hadoop集群并使用WordCount测试

最新推荐文章于 2023-12-13 21:46:00 发布
最新推荐文章于 2023-12-13 21:46:00 发布
阅读量2.2k 收藏 24
点赞数 7
分类专栏： 学习记录 文章标签： docker 分布式 hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43993764/article/details/113405025
版权

Docker搭建Hadoop集群踩坑指南


本人由于毕业设计选题，开始接触Hadoop，预期搭建一个具有分布式存储与高性能处理数据的框架，技术选型初步采用Docker进行分布式集群搭建，并且使用Docker封装出一个灵活添加使用的算法层， 环境搭建中踩坑多次，特此记录分享，有需求的小伙伴可以参考一下。

操作系统：Ubuntu20.04 默认Docker环境已经搭建完成

制作镜像

1、拉取ubuntu镜像

首先拉取一个ubuntu最新的镜像作为基础映像docker pull ubuntu:latest,我这里已经拉取过了，如果第一次pull会开始下载。下载后可以看一下docker images已经有一个ubuntu版本号为latest的了。
图1

2、使用Dockerfile构建包含jdk的ubuntu镜像

去jdk官网下载jdk包。我下载的jdk1.8 jdk-8u281-linux-x64.tar.gz，在下载好的tar.gz文件所在的目录,新建一个Dockerfile文件，并进入编辑状态

vim Dockerfile

在这里插入图片描述
输入下面的文件内容，其中jdk的版本号要根据你下载的版本适当修改：

FROM ubuntu:latest
MAINTAINER duanmu
ADD jdk-8u281-linux-x64.tar.gz /usr/local/
ENV JAVA_HOME /usr/local/jdk1.8.0_281
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV PATH $PATH:$JAVA_HOME/bin

编辑好后保存，开始build镜像

docker build -t jdk-20210127 .

构建一个包含jdk的ubuntu镜像命名为jdk-20210127 ,注意最后的“.”

3、进入映像

新建一个以jdk-20210127为基础镜像的容器命名为ubuntu_hadoop并指定容器的hostname为charlie,并进入容器。

docker run -it --name=ubuntu_hadoop -h charlie jdk-20210127

下图为进入容器后：在这里插入图片描述
此时输入

java -version

已经可以显示jdk的版本号了。

在这里插入图片描述

4、升级apt-get

apt-get update

5、安装vim

apt-get install vim

6、更新apt-get镜像源

默认的apt-get下载源速度太慢，更换下载源可以提升速度,进入下载源列表文件，按a进入insert模式

vim /etc/apt/sources.list

将其中内容全部替换为以下内容

deb-src http://archive.ubuntu.com/ubuntu focal main restricted #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ focal main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ focal universe
deb http://mirrors.aliyun.com/ubuntu/ focal-updates universe
deb http://mirrors.aliyun.com/ubuntu/ focal multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse #Added by software-properties
deb http://archive.canonical.com/ubuntu focal partner
deb-src http://archive.canonical.com/ubuntu focal partner
deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ focal-security universe
deb http://mirrors.aliyun.com/ubuntu/ focal-security multiverse

其中focal是ubuntu20.04的版本号，其他版本诸如xenial等修改版本号即可。

7、重新升级apt-get

apt-get update

8、安装wget

apt-get install wget

9、创建并进入安装hadoop的文件目录

mkdir -p soft/apache/hadoop/
cd soft/apache/hadoop

10、通过wget下载hadoop安装包

wget http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

本人使用的是比较新的hadoop3.3.0版本，其他版本也可以访问这个网站的目录树去找。（3.3.0在后续配置中有一步骤略有差别，之后会提。）

11、解压hadoop

tar -xvzf Hadoop-3.3.0.tar.gz

12、配置环境变量并重启配置文件

vim ~/.bashrc

新增以下环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_281
export HADOOP_HOME=/soft/apache/hadoop/hadoop-3.3.0
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

并重启配置文件

source ~/.bashrc

13、创建文件夹并修改配置文件

cd $HADOOP_HOME
mkdir tmp
mkdir namenode
mkdir datanode

修改配置文件：

cd $HADOOP_CONFIG_HOME
vim core-site.xml

将下面内容替换：

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/soft/apache/hadoop/hadoop-3.3.0/tmp</value>
</property>
<property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
        <final>true</final>
</property>
</configuration>

更改hdfs-site.xml

vim hdfs-site.xml

用下面配置替换：

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
        <name>dfs.replication</name>
        <value>2</value>
        <final>true</final>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/soft/apache/hadoop/hadoop-3.3.0/namenode</value>
        <final>true</final>
</property>
<property>
        <name>dfs.datanode.name.dir</name>
        <value>/soft/apache/hadoop/hadoop-3.3.0/datanode</value>
        <final>true</final>
</property>
</configuration>

接下来

cp marred-site.xml.template marred-site.xml
vim mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
        <name>mapred.job.tarcker</name>
        <value>master:9001</value>
</property>
</configuration>

14、修改hadoop环境变量

在hadoop的安装目录下，找到hadoop-env,sh文件

vim hadoop-env.sh

在最后添加

export JAVA_HOME=/usr/local/jdk1.8.0_281

刷新

hadoop namenode -format

15、安装SSH

hadoop的环境必须满足ssh免密登陆，先安装ssh

apt-get install net-tools
apt-get install ssh

创建sshd目录

mkdir -p ~/var/run/sshd

生成访问密钥

cd ~/
ssh-keygen -t rsa -P '' -f ~/.ssh/id_dsa
cd .ssh
cat id_dsa.pub >> authorized_keys

这一步骤提示安装路径与设置密码时全布直接按回车即可设置成免密。

修改ssh配置

vim /etc/ssh/ssh_config

添加,将下面这句话直接添加即可，也可以在文件中找到被注释的这句话去修改。

StrictHostKeyChecking no #将ask改为no

vim etc/ssh/sshd_config

在末尾添加：

#禁用密码验证
PasswordAuthentication no
#启用密钥验证
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys

最后使用下面语句测试是否免密登陆，

ssh localhost

出现下图即免密配置成功。
在这里插入图片描述
最后在在高版本hadoop配置过程中，最后启动时常常报如下的错：
在这里插入图片描述为了避免踩坑，先提前设置,进入环境变量

vim /etc/profile

增加如下内容并保存：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

使配置生效

source /etc/profile

16、导出镜像

至此镜像已经配置完成，退出容器，将配置好的镜像保存，其中xxxx为刚刚操作的容器的id，可以使用docker ps -a查看

docker commit xxxx ubuntu:hadoop

此时ubuntu_hadoop就是最终配置好的包含hadoop的镜像。

17、集群测试

依次构建并启动三个以刚刚生成的镜像为基本镜像的容器，依次命名为master 、slave1、slave2，并将master做端口映射（提示：容器要处于运行状态，生成容器后使用ctrl+P+Q退出可以使容器保持后台运行。）

docker run -it  -h master --name=master -p 9870:9870 -p 8088:8088 ubuntu:hadoop 
docker run -it  -h slave1 --name=slave1 ubuntu:hadoop 
docker run -it  -h slave2 --name=slave2 ubuntu:hadoop

修改每个容器的host文件
对matser、slave1、slave2里的host文件，分别加入其他两个容器的ip

vim /etc/hosts

127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      master
172.17.0.3      slave1
172.17.0.4      slave2

修改master中slaves文件

注意，在hadoop3.3.0版本中并不是修改slaves文件，而是修改workers文件。此处为3.3.0版本的一些变化。
老版本（自行查找hadoop版本中已存在文件是slaves还是iworkers）

cd $HADOOP_CONFIG_HOME/
vim slaves

3.3.0

cd $HADOOP_CONFIG_HOME/
vim workers

将其他两个节点名称加入文件

slave1
slave2

启动hadoop

start-all.sh

出现下图即为配置成功，
在这里插入图片描述此时可以访问localhost:9870和localhost:8088 ，去监控集群运行状态了，如下图
在这里插入图片描述

在这里插入图片描述

18、使用wordCount测试集群

进入hadoop目录，查看一下所有文件，以文件中的LICENSE.txt为输入文件，来统计其中单词出现频率作为测试。

cd $HADOOP_HOME
ll

首先在HDFS文件存储系统中新建一个inputs文件夹。
hadoop fs -mkdir /input

可以使用下面命令看到文件夹创建成功

hadoop fs -ls /

把license.txt放进input文件夹

hadoop fs -put LICENSE.txt /input

查看已经放入

hadoop fs -ls /input

使用示例程序进行统计(mapreduce示例包不同版本路径不同需要自行查找，下面是3.3.0版本)

hadoop jar /soft/apache/hadoop/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

在这里插入图片描述

运行后查看文件夹，发现多了一个output文件夹，打开output文件夹，多了两个文件，_SUCCESS和part-r-00000，说明运行成功。

hadoop fs -ls /
hadoop fs -ls /output

在这里插入图片描述打开part -r-00000

hadoop fs -cat /output/part-r-00000

词频已经统计完毕了：
在这里插入图片描述

至此，已经完成了基本的Docker搭建hadoop分布式集群。并进行简单的测试，接下来我也会在学习过程中持续更新，兄弟萌觉得有用点个赞奥！！！

																					20210129 duan
莽起来就没有大问题
关注
  • 7
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
WordCount案例测试＜本地、集群＞
qq_52299578的博客
10-05 597
WordCount案例测试
在基于docker的Hadoop集群上搭建Spark
Marksman_zhu的博客
09-08 804
Install Hadoop Clustering 1.      Run a docker container within boot2docker vm Docker run –it –v /c/User/liming.zhu/boot2dockerfoder:/hostFolder–name hadoopYarn 2.      Install java within the dock
基于Docker的Hadoop全体系架构入门指南
本人曾获评2006年《美国时代周刊》年度风云人物，2008年感动中国组委会特别大奖。
10-26 840
基于Docker的Hadoop全体系架构入门指南前言目录涉及软件及其版本（下载） 前言 开个大坑。 大数据架构涉及到很多软件的安装和配置，单机的配置和安装比较简单，但往往还要学习伪分布式/分布式。如果用VMware或者VituralBox之类创建虚拟机，不仅太占用计算机资源，而且维护也麻烦。但Docker基于LXC的轻量级虚拟化，相比之下启动快，且资源占用小，更适合用来模拟大数据的架构。 还有就是目前网络上很难找到成体系的环境搭建流程，有时候可能照着这个教材搭好了HadoopHA，想配置Hive的时候，找到
基于大数据平台的毕业设计01：基于Docker的HDP集群搭建
CatchLight的博客
10-28 4528
好多人问我，这种基于大数据平台的xxxx的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计。这篇文章是将对之前的毕设进行优化。个人觉得可以分为两个部分。第一个部分就是基础的平台搭建。例如Hadoop集群、Kafka集群。第二个部分就是上层应用的建设，例如基于大数据平台的数据分析，以及大屏展示之类的可视化应用。前者提供了基础平台能力，让整个设计加入大数据元素；后者提供了上层应用能力，主要是让别人明白你利用大数据平台做了什么。前些日子闲得无聊，在一台虚拟机。
Docker部署Hadoop集群
Larry的博客
10-12 4668
前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机 安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些
大数据云计算——Docker环境下部署Hadoop集群及运行集群案列
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-13 1994
本文着重介绍了在Docker环境下部署Hadoop集群以及实际案例中的集群运行。首先，文章详细解释了Hadoop的基本概念和其在大数据处理中的重要性，以及为何选择在Docker环境下部署Hadoop集群。接着，阐述了在Docker中配置和启动Hadoop集群所需的步骤和技术要点。通过本文，读者可以深入了解如何利用Docker环境快速搭建Hadoop集群，并通过案例展示集群的运行过程，为大数据云计算中的Hadoop应用提供了实用的指导和参考。
docker配置hadoop
09-28
001
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
使用docker部署hadoop集群的详细教程
09-29
主要介绍了使用docker部署hadoop集群的详细教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
hadoop集群通用wordcount测试程序
02-11
通用的wordcount 程序， 不依赖具体Hadoop平台，做research时很有用
在Windows10上利用wsl安装docker、hadoop以及运行WordCount
mxy990811的博客
10-30 845
wsl2 docker hadoop WordCount
Hadoop集群搭建及wordcount测试
czliuming的博客
05-05 5948
1. hadoop三种安装模式 单机模式 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 伪分布式模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。 完全分布式模式 Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。 2. hado
使用docker进行部署hadoop
junsuyiji的博客
10-25 1896
使用docker进行部署hadoop
hadoop集群wordcount测试
JavaBigData的博客
09-06 228
官方样例 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount file:///home/baiyun/mydatas/test5.scala hdfs:///text/wordcount2 查看结果 hadoop fs -cat /text/wordcount2/part-r-00000 hadoop fs -cat /text/wordcount.
Hadoop MapReduce测试word count功能
QYHuiiQ
04-13 1444
在hadoop的mapreduce目录下自带有一个hadoop-mapreduce-examples-2.7.5.jar(官方已经为我们写好了用java实现word count的jar)可以用来测试word count的功能。 测试之前先创建用来做词频统计的文件： [root@hadoop01 ~]# mkdir word_count_input [root@hadoop01 ~]# cd word_count_input [root@hadoop01 word_count_input]# vi fil
用hadoop自带的wordcount测试
上善若水
04-18 6991
1、创建文件example.txt,并将其拷贝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/root 2、执行hadoop-mapreduce-examples-2.8.0.jar ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2...
hadoop 集群运行WordCount示例程序
StormrageWang的专栏
12-19 4197
在博客中http://blog.csdn.net/stormragewang/article/details/41148917写到运行wordcount程序 [hadoop@Yarn-Master ~]$ hadoop/2.6.1/bin/hadoop jar hadoop/2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.
hadoop集群测试 Wordcount报错
qq_42282789的博客
02-24 1272
在使用wordcount时，突然报错： Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contains the below configuration: <property> <name>yarn.app.mapreduce.am.env<
在centos使用docker安装配置hadoop集群
最新发布
01-24
4. 进入容器并配置集群：进入Hadoop容器的bash终端： ``` sudo docker exec -it 容器ID /bin/bash ``` 在容器中配置Hadoop集群。这涉及到编辑Hadoop配置文件，包括core-site.xml、hdfs-site.xml、mapred-site....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值