docker搭建hadoop完全分布式

最新推荐文章于 2024-05-08 00:19:59 发布
最新推荐文章于 2024-05-08 00:19:59 发布
阅读量2.3k 收藏 9
点赞数 2
文章标签： 分布式 docker hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58370873/article/details/121165943
版权

docker搭建hadoop完全分布式

  • 准备环境
  1. 启动已配置好的虚拟机
  2. 使用xshell连接虚拟机
  3. 检查网络

二、安装Docker

1、检查系统内核

[root@docker108 ~]# cat /etc/redhat-release

CentOS Linux release 7.5.1804 (Core)

[root@docker108 ~]# uname -a

Linux docker108 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

[root@docker108 ~]# uname -r

3.10.0-862.el7.x86_64

安装Docker先决条件

必须是64位CPU架构的计算机，Docker目前不支持32位CPU;

运行Linux3.8或更高版本内核，CentOS的内核版本不能低于3.10;

core >= 3.1

内核必须支持一种合适的存储驱动，可以是Device Manager、AUFS、vfs、btrfs、以及默认的驱动Device Mapper中的一个;

  1. yum安装docker

[root@docker108 ~]# yum -y install docker

  1. 启动docker服务

[root@docker108 ~]#systemctl start docker

  1. 开机启动docker服务

[root@docker108 ~]#systemctl enable docker

  1. 查看docker服务

[root@docker108 ~]#systemctl status docker

  • 配置docker镜像加速器
  1. 配置镜像加速器

[root@docker108 ~]# vim /etc/docker/daemon.json

{

  "registry-mirrors": [

    "http://hub-mirror.c.163.com",

    "https://docker.mirrors.ustc.edu.cn",

    "https://mirror.ccs.tencentyun.com",

    "https://ahunh7pc.mirror.aliyuncs.com"

  ]

}

2. 重启docker服务

[root@docker108 ~]# systemctl daemon-reload

[root@docker108 ~]# systemctl restart docker

[root@docker108 ~]# systemctl status docker

3.查看docker信息

[root@docker108 ~]# docker info

  • 拉取centos基础镜像

[root@docker108 ~]# docker pull centos:7.5.1804

[root@docker108 ~]#mkdir software

[root@docker108 ~]#cd software

使用xftp上传jdk-8u144-linux-x64.tar.gz

  • 创建centos-jdk:1.0 镜像

[root@docker108 software]# mkdir docker-jdk

[root@docker108 software]#cp jdk-8u144-linux-x64.tar.gz docker-jdk/

[root@docker108 software]# cd docker-jdk

[root@docker108 docker-jdk]# touch Dockerfile

[root@docker108 docker-jdk]# vim Dockerfile

FROM centos:7.5.1804

RUN mkdir -p /opt/software

RUN mkdir -p /opt/module

COPY jdk-8u144-linux-x64.tar.gz /opt/software/

RUN tar -xzvf /opt/software/jdk-8u144-linux-x64.tar.gz -C /opt/module

RUN rm -rf /opt/software/jdk-8u144-linux-x64.tar.gz

ENV JAVA_HOME=/opt/module/jdk1.8.0_144

ENV PATH=$PATH:$JAVA_HOME/bin

[root@docker108 docker-jdk]# docker build -t centos-jdk:1.0 ./

  • 创建 centos-jdk-ssh:1.0:1.0 镜像

[root@docker108 software]#mkdir docker-jdk-ssh

[root@docker108 software]# cd docker-jdk-ssh

[root@docker108 docker-jdk-ssh]# touch Dockerfile

[root@docker108 docker-jdk-ssh]# vim Dockerfile

FROM centos_java8:1.0

MAINTAINER AlexMK liufengji@aliyun.com

RUN curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

RUN sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

RUN yum makecache

RUN yum install -y openssh-server openssh-clients vim net-tools

RUN sed -i '/^HostKey/'d /etc/ssh/sshd_config

RUN echo 'HostKey /etc/ssh/ssh_host_rsa_key'>>/etc/ssh/sshd_config

RUN ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key

RUN echo 'root:000000' | chpasswd

EXPOSE 22

RUN mkdir -p /opt

RUN echo '#!/bin/bash' >> /opt/run.sh

RUN echo '/usr/sbin/sshd -D' >> /opt/run.sh

RUN chmod +x /opt/run.sh

CMD ["/opt/run.sh"]

[root@docker108 docker-jdk-ssh]#docker build -t centos-jdk-ssh:1.0 ./

查看一下镜像

[root@docker108 docker-jdk-ssh]#docker images

REPOSITORY       TAG        IMAGE ID       CREATED       SIZE

centos-jdk-ssh   1.0        b3c314c5189c   10 days ago   1.17GB

centos-jdk       1.0        a47dec29d0de   10 days ago   761MB

nginx            1.19       519e12e2a84a   2 weeks ago   133MB

mysql            5.7        cd0f0b1e283d   4 weeks ago   449MB

centos           7.5.1804   cf49811e3cdb   2 years ago   200MB

[root@docker108 docker-jdk-ssh]#docker ps

  • 运行容器

基于centos-jdk-ssh:1.0:1.0 镜像运行容器，并给容器和容器的主机名起一个名字，为了方便记忆和操作，这里容器名字和容器的主机名都设置为一样

[root@docker108 docker-jdk-ssh]#docker run --name hadoop102 -h hadoop102 -d centos-jdk-ssh:1.0

[root@docker108 docker-jdk-ssh]#docker run --name hadoop103 -h hadoop103 -d centos-jdk-ssh:1.0

[root@docker108 docker-jdk-ssh]#docker run --name hadoop104 -h hadoop104 -d centos-jdk-ssh:1.0

查看容器

[root@docker108 docker-jdk-ssh]#docker ps

  • 查看容器网络

[root@docker108 docker-jdk-ssh]#docker network inspect bridge

九、通过这种方式是可以（不推荐）

[root@docker108 docker-jdk-ssh]#docker exec -it hadoop102 /bin/bash

[root@docker108 docker-jdk-ssh]#exit

[root@docker108 docker-jdk-ssh]#docker exec -it hadoop103 /bin/bash

[root@docker108 docker-jdk-ssh]#exit

[root@docker108 docker-jdk-ssh]#docker exec -it hadoop104 /bin/bash

[root@docker108 docker-jdk-ssh]#exit

十、通过端口映射的方式（不推荐）

[root@docker108 docker-jdk-ssh]#docker run --name hadoop105 -h hadoop105 -p 522:22 -d centos-jdk-ssh:1.0

[root@docker108 docker-jdk-ssh]#exit

  • 目标(直接进入容器hadoop102，hadoop103,hadoop104)

192.168.2.102:22

192.168.2.103:22

192.168.2.104:22

利用脚本进入容器

[root@docker108]#cd /usr/local/bin/

[root@docker108 bin]#touch docker_network.sh

[root@docker108 bin]#chmod 755 docker_network.sh

[root@docker108 bin]#vim docker_network.sh

#!/bin/bash

docker start hadoop102

docker start hadoop103

docker start hadoop104

brctl addbr br0; \

ip link set dev br0 up; \

ip addr del 192.168.2.108/24 dev ens33; \

ip addr add 192.168.2.108/24 dev br0; \

brctl addif br0 ens33; \

ip route add default via 192.168.2.2 dev br0

sleep 5

pipework br0 hadoop102 192.168.2.102/24@192.168.2.2

pipework br0 hadoop103 192.168.2.103/24@192.168.2.2

pipework br0 hadoop104 192.168.2.104/24@192.168.2.2

（如果最小化安装虚拟机，需要装pipework和bridge-utils 这两个依赖

[root@docker108 bin]#yum install -y bridge-utils）

启动脚本

[root@hadoop102 ~]# docker_network.sh

执行 docker_network.sh  这个脚本 给容器配置ip

十二、进入容器给每个容器配置主机和ip的映射

[root@docker108 ]#ssh hadoop102

[root@hadoop102]#vim /etc/hosts

192.168.2.102 hadoop102

192.168.2.103 hadoop103

192.168.2.104 hadoop104

[root@hadoop102]#exit

[root@docker108 ]#ssh hadoop103

[root@hadoop103]#vim /etc/hosts

192.168.2.102 hadoop102

192.168.2.103 hadoop103

192.168.2.104 hadoop104

[root@hadoop103]#exit

[root@docker108 ]#ssh hadoop104

[root@hadoop104]#vim /etc/hosts

192.168.2.102 hadoop102

192.168.2.103 hadoop103

192.168.2.104 hadoop104

[root@hadoop104]#exit

  • ssh 免密登陆，在每个容器里面生成公钥和私钥，并复制给其他容器(也可直接使用免密脚本)

[root@docker108 ]#ssh hadoop102

[root@hadoop102]#ssh-kengen -t rsa

[root@hadoop102]#ssh-copy-id hadoop102

[root@hadoop102]#ssh-copy-id hadoop103

[root@hadoop102]#ssh-copy-id hadoop104

[root@hadoop102]#exit

[root@docker108 ]#ssh hadoop103

[root@hadoop103]#ssh-kengen -t rsa

[root@hadoop103]#ssh-copy-id hadoop102

[root@hadoop103]#ssh-copy-id hadoop103

[root@hadoop103]#ssh-copy-id hadoop104

[root@hadoop103]#exit

[root@docker108 ]#ssh hadoop104

[root@hadoop104]#ssh-kengen -t rsa

[root@hadoop104]#ssh-copy-id hadoop102

[root@hadoop104]#ssh-copy-id hadoop103

[root@hadoop104]#ssh-copy-id hadoop104

[root@hadoop104]#exit

  • 配置jdk环境变量

[root@hadoop102 ]#vim  /etc/profile

文件末尾添加jdk路径

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

:wq(保存并退出）

让修改后的文件生效

[root@hadoop102 ]#source /etc/profile

测试jdk 安装是否成功

[root@hadoop102 ]#java -version

十五、安装部署hadoop

基本配置文件

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

export HADOOP_LOG_DIR=/opt/module/hadoop/logs

yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

export YARN_LOG_DIR=/opt/module/hadoop/logs

mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://node1:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/opt/module/hadoop-2.8.2/data/tmp</value>

</property>

hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

       <name>dfs.replication</name>

       <value>3</value>

</property>

<!-- 指定secondarynamenode位置 -->

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>node3:50090</value>

</property>

  <!-- 关闭HDFS 检查 -->

  <property>

    <name>dfs.permissions.enabled</name>

    <value>false</value>

  </property>

yarn-site.xml

<!-- reducer获取数据的方式 -->

<property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

       <name>yarn.resourcemanager.hostname</name>

       <value>node2</value>

</property>

mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

Slaves

hadoop102

hadoop103

hadoop104

在集群上分发以上所有文件（可使用分发脚本）

[root@hadoop102 ]# cd /opt/module/hadoop-2.7.2/     

[root@hadoop102 ]# hadoop-2.7.2]$ pwd

/opt/module/hadoop-2.7.2

[root@hadoop102 hadoop-2.7.2]$ rsync-rvl etc/hadoop/* root@hadoop103:/opt/module/hadoop-2.8.2/etc/hadoop/

[root@hadoop102 hadoop-2.7.2]$ rsync -rvl etc/hadoop/*root@hadoop104:/opt/module/hadoop-2.8.2/etc/hadoop/

  • 如果集群是第一次启动，需要格式化namenode

[root@hadoop102 hadoop-2.7.2]# bin/hdfs namenode -format

  • 启动hadoop

[root@hadoop102 hadoop-2.7.2]# sbin/start-dfs.sh

[root@hadoop103 hadoop-2.7.2]# sbin/start-yarn.sh

查看jps （也可使用查看集群jps的脚本）

  • 浏览器访问

192.168.2.102:50070

192.168.2.103:8088

  • 脚本

脚本都在容器hadoop102中加入而且都加入bin目录下

[root@hadoop102]cd /usr/local/bin

第一个脚本（xsync.sh）分发脚本

注意：安装这个脚本需要在每个容器都安装依赖rsync（yum install -y rsync）

#!/bin/bash

#1 获取输入参数个数，如果没有参数，直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

fi

#2 获取文件名称

p1=$1

fname=`basename $p1`

echo fname=$fname

#3 获取上级目录到绝对路径

pdir=`cd -P $(dirname $p1); pwd`

echo pdir=$pdir

#4 获取当前用户名称

user=`whoami`

#5 循环

for((host=103; host<=104; host++)); do

    #echo $pdir/$fname $user@hadoop$host:$pdir

    echo --------------- hadoop$host ----------------

    rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

done

第二个脚本 查看jps脚本（xjps.sh）

#!/bin/bash

   

user=`whoami`

for((host=102; host<=104; host++)); do

    echo "=====  $user@hadoop$host  ===="

    ssh $user@hadoop$host 'jps'

done

第三个脚本  免密脚本（auto-ssh-sshpass.sh）

#!/bin/bash

user=`whoami`
passwd=000000

#yum install -y sshpass
echo "开始配置免密登录......"

for((current=102; current<=104; current++));do
    for((host=102; host<=104; host++));do
        sshpass -p $passwd ssh -q -o StrictHostKeyChecking=no $user@hadoop$current "sshpass -p $passwd ssh-copy-id -o StrictHostKeyChecking=no $user@hadoop$host"
    done
done
echo "恭喜, 免密登录配置完成!"
菜鸟莱了
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker搭建Hadoop集群
weixin_42258633的博客
06-25 6081
docker搭建hadoop集群
docker搭建hadoop分布式集群
hzk844812611的专栏
08-29 514
docker搭建hadoop分布式集群
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装。 2：在centos7中安装docker，docker的版本为1.8.2 安装步骤如下： 安装制定版本的docker  yum install -y docker-1.8.2-10.el7.centos 安装的时候可能会报错，需要删除这个依赖 rpm -e lvm2-7:2.02.105-14.el7.x86_64 启动
最全华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop(2)，2024年最新大数据开发组件化架构实践
最新发布
e846815793的博客
05-08 531
注意：确保在主机上禁用SELinux。
Docker安装Hadoop
m0_67402013的博客
08-14 3712
docker exec -it hadoop bash进入容器。查找hadoop-env.sh的安装路径。配置备份数量，小于等于slave数量。三个容器都要修改如下三个IP映射。
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 8305
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
docker安装hadoop
TimBL_的博客
02-13 489
docker安装hadoop
使用docker搭建一个完全分布式的hadoop集群
帆随风而动
05-07 3789
项目地址：https://github.com/czfshine/docker-hadoop docker-hadoop A dockerfile for setting up a full Hadoop cluster server 一套在ubuntu 下生成和部署Hadoop的Docker镜像的配置文件集与示例。 包括: 环境配置文件 生成 docker image 的dockerfi...
mac上基于docker搭建hadoop集群
01-20
对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
docker配置hadoop
09-28
001
使用docker安装分布式hadoop（阿里hadoop镜像）
m0_67390969的博客
08-27 4675
前面使用了docker自带的镜像安装，那么这篇使用阿里镜像搭建hadoop集群，也参考了网上部分播客，但是多多少少有问题，我这篇播客是全部经过实践测试成功跑起来的。
[零基础]用docker搭建Hadoop集群
热门推荐
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
大数据——hadoop环境安装（docker搭建）
weixin_42789698的博客
12-03 2329
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使用sed命令将baseurl修改为`http://vault.centos.org`。# 更新yum缓存。# 使用yum更新系统软件。# 使用yum安装openssh-server和sudo。
Docker 安装hadoop
中国红客99代传人的博客
05-10 448
硬件：单核CPU、内存1G 软件：Ubuntu 16.04操作系统、Docker、Hadoop。
傻瓜教程之docker搭建hadoop伪分布式
呼卓宇的博客
01-26 2219
目录安装hadoop镜像 安装hadoop镜像 在docker中查找hadoop 镜像 docker search hadoop 我们选择star数量最多的镜像拉取 docker pull docker.io/sequenceiq/hadoop-docker 查看镜像 docker images 创建master节点 docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-docker 参数说明： --na
Docker搭建Hadoop集群教程。
高性价比服务器就选：蓝易云
07-12 534
这只是一个简单的示例教程，用于在Docker中搭建Hadoop集群。实际上，搭建和配置一个完整的Hadoop集群涉及到更多的步骤和详细的配置。你可以通过进一步研究Hadoop文档和参考资料来了解更多关于Hadoop集群的配置和管理的内容。这将启动一个包含一个NameNode、两个DataNode、一个ResourceManager和两个NodeManager的Hadoop集群。搭建Hadoop集群是一个相对复杂的过程，涉及到多个步骤和配置。创建Hadoop集群配置：在新建的目录下，创建一个名为。
使用 Docker 安装 Hadoop 集群
m0_67400973的博客
08-27 2231
相信大家都有过玩虚拟机的经验，也相信大家有想搭一个大数据集群偶尔在自己电脑上做做测试。使用虚拟机是可以完成的，但是过程非常漫长，而且很多操作不能以后重复使用。这里我近期使用Docker完成了测试集群的搭建，我想用的时候，十几秒就可以直接启动，速度很快。而且所有的镜像都可以上传hub云端，想用的时候，从云端pull到任何一台有docker的电脑直接运行。而且，以往我们使用虚拟机搭建集群，我们需要配置很多的免密，甚至Hadoop等文件，我们需要上传到各个节点上。...
【Docker】Docker安装Hadoop分布式集群
weixin_46429290的博客
04-06 1900
hadoop目录安装在：/usr/local/hadoop-2.7.0/etc/hadoop。访问Hadoop102:9870，查看是否能够看到hdfs界面。访问hadoop103:8088，查看能够看到yarn界面。在yarn上可以看到执行情况。
hadoop伪分布式安装环境菜鸟教程.docx
03-05
文章内容主要参考了两份教程："hadoop伪分布式安装环境菜鸟教程.docx"和"docker部署hadoop伪分布式搭建环境成功的教程"，并结合自身经验进行撰写。 首先，为了成功搭建Hadoop伪分布式环境，我们需要准备以下环境和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值