使用docker子网搭建hadoop集群

最新推荐文章于 2024-01-17 11:51:11 发布
最新推荐文章于 2024-01-17 11:51:11 发布
阅读量324 收藏 1
点赞数 2
分类专栏： Ubuntu docker 文章标签： hadoop docker linux ubuntu centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianyouououou/article/details/104580507
版权

简介

由于之前按照网上的教程搭建并不能完全满足需求，经过几天的学习，整理了一套搭建方案。
最后的镜像大小1.4G多，使用docker子网，容器重新启动不需要重新配置/etc/hosts文件。
配置过程中参考了如下博客，有些细节问题这些博客里面解释的更加详细。
ssh配置部分：
https://blog.csdn.net/weixin_42051109/article/details/82744993
wordcount部分：
https://blog.csdn.net/alexwym/article/details/82497582
虽然配置完了，但是有些地方并不完全懂，后续有机会还会做一些补充解释。

0 环境

Ubuntu16.04虚拟机

1 准备工作

  1. 下载解压jdk1.8文件夹
  2. 下载解压hadoop2.8.5文件夹
  3. docker pull centos7基础镜像
  4. 建mydocker文件夹
  5. 将jdk1.8文件夹和hadoop文件夹移动到mydocker文件夹（这里为了简洁将hadoop2.8.5文件夹重命名为hadoop）
  6. 编辑hadoop文件夹内的文件（避免创建镜像后要修改三遍）

首先进入hadoop/etc/hadoop文件夹后修改hadoop.env.sh

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim hadoop-env.sh

将JAVA_HOME修改为如下路径

export JAVA_HOME= /usr/local/jdk1.8

修改core-site.xml如下

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim core-site.xml

<!-- Put site-specific property overrides in this file. -->
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop0:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
     </property>
</configuration>

修改yarn-site.xml

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>hadoop0:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>hadoop0:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop0:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop0:8033</value>
     </property>
	 <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop0:8088</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
</configuration>

修改mapred-site.xml，我这里是mapred-site.xml.template

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim mapred-site.xml.template

<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

修改hdfs-site.xml（按照datanode配置）

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim hdfs-site.xml 

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

这里修改hadoop配置文件是为了构建镜像时直接将hadoop文件夹COPY到镜像中，再用镜像创建三个容器后不需要在三个容器中分别进行重复的配置工作

2 使用Dockerfile构建镜像

  1. 编辑Dockefile，基于准备好的centos：7基础镜像构建
FROM centos:7
# 选择一个已有的os镜像作为基a础  
# 镜像的作者  
MAINTAINER tianyou
# 安装openssh-server和sudo软件包，并且将sshd的UsePAM参数设置成no  
RUN yum install -y openssh-server sudo \
        && sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config \
#安装openssh-clients
        && yum  install -y openssh-clients \
        && yum install -y vim \
        && yum install -y which \

# 添加测试用户root，密码root，并且将此用户添加到sudoers里  
        && echo "root:root" | chpasswd \
        && echo "root   ALL=(ALL)       ALL" >> /etc/sudoers \
# 下面这两句比较特殊，在centos6上必须要有，否则创建出来的容器sshd不能登录  
        && ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key \
        && ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \

        && mkdir /var/run/sshd

COPY jdk1.8  /usr/local/jdk1.8/
COPY hadoop /usr/local/hadoop/
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]
  1. 在mydocker文件夹下执行构建命令（因为需要文件访问权限要加sudo，命令最后的 .不要丢）
tianyou@ubuntu:~/mydocker$ sudo docker build -t tianyou/centos-java-hadoop .

3 创建容器

  1. 创建子网 hadoopnetwork
tianyou@ubuntu:~/mydocker$ docker network create --subnet=172.19.0.0/16 hadoopnetwork
  1. 创建容器并指定子网和ip

创建hadoop0容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.2 --name hadoop0 -h hadoop0 tianyou/centos-java-hadoop

创建hadoop1容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.3 --name hadoop1 -h hadoop1 tianyou/centos-java-hadoop

创建hadoop2容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.4 --name hadoop2 -h hadoop2 tianyou/centos-java-hadoop

4 配置ssh

1.进入hadoop0

tianyou@ubuntu:~/mydocker$ docker exec -it hadoop0 /bin/bash

2.配置ssh密钥

[root@hadoop0 /]# /usr/sbin/sshd && /usr/sbin/sshd-keygen -A && /usr/sbin/sshd

制作密钥，输入ssh-keygen -t rsa，然后敲三次Enter键

[root@hadoop0 /]# ssh-keygen -t rsa

生成的密钥存在 /root/.ssh/id_rsa.pub 文件中，执行指令把密钥存储在 /root/.ssh/authorized_keys 文件中
修改sshd_config配置使提示更简洁，合并指令如下：

[root@hadoop0 /]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys && vim /etc/ssh/sshd_config

将配置文件中对应行 修改为如下所示：

Port 22
PermitRootLogin yes
PubkeyAuthentication yes
PasswordAuthentication yes
ChallengeResponseAuthentication no
UsePAM yes
PrintLastLog no

Esc进入命令模式，:wq保存
修改ssh_config文件中 StrictHostKeyChecking ask改成no

[root@Master local]# vim /etc/ssh/ssh_config 

StrictHostKeyChecking no

Ctrl+P+Q退出hadoop0容器
进入hadoop1和hadoop2容器，进行同样的操作生成ssh密钥和配置

3 将容器的秘钥互相添加
每个容器的 /root/.ssh/authorized_keys 文件都需要填入所有容器的密钥
以上操作结束后在hadoop2容器中，查看文件，复制出haoop2密钥

[root@hadoop2 /]#  vim  /root/.ssh/authorized_keys

ctrl+P+Q退出，同样复制出hadoop1和hadoop0秘钥，将三个秘钥全部复制到三个容器的/root/.ssh/authorized_keys文件中。
复制完成后在每个容器中都执行一次 /usr/sbin/sshd命令

[root@Master local]# /usr/sbin/sshd

至此，通过ssh可以互相访问，测试一下

[root@hadoop0 /]# ssh hadoop1

ctrl+D返回

5 完善hadoop配置

进入hadoop0，修改hdfs-site.xml 文件如下：

[root@hadoop0 /]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

因为在COPY进容器时按照datanode配置，所以要修改为namenode配置，只需要将三处data修改为name

<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
</configuration>

通过ssh进入hadoop1，删除重建hdfs文件

[root@hadoop0 /]# ssh hadoop1
[root@hadoop1 ~]# rm -rf /usr/local/hadoop/hdfs && mkdir -p /usr/local/hadoop/hdfs/data

ctrl+D退出，同样进入hadoop2，删除重建hdfs文件
ctrl+D退出，回到hadoop0，删除重建hdfs文件，注意这里是name。

[root@hadoop0 /]# rm -rf /usr/local/hadoop/hdfs && mkdir -p /usr/local/hadoop/hdfs/name

修改slaves文件

[root@hadoop0 local]# vim /usr/local/hadoop/etc/hadoop/slaves

填入hadoop1,hadoop2

localhost
hadoop1
hadoop2

格式化hdfs（这里当时报了一个错，找不到JAVA_HOME，因为hadoop-env.sh中JAVA_HOME=后面多敲了一个空格，删掉后成功运行）

[root@hadoop0 /]# hdfs namenode -format

修改/etc/profile文件 ，修改后可以使用jps 或 hadoop fs xx 指令

[root@hadoop0 local]# vim /etc/profile

将下面的代码添加到文件末尾，保存退出

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source使配置生效

[root@hadoop1 ~]# source /etc/profile

ssh进入hadoop1和hadoop2做同样修改。
回到hadoop0进入hadoop/sbin，执行start-all命令启动

[root@hadoop0 local]# cd /usr/local/hadoop/sbin/
[root@hadoop0 sbin]# ./start-all.sh

可以运行如下命令查看节点情况

[root@hadoop0 sbin]# hadoop dfsadmin -report

6 测试wordcount程序

启动hadoop之后（一定要先启动），可以运行自带的wordcount程序来测试一下
进入hadoop文件夹 在hdfs建立input文件夹

[root@hadoop0 hadoop]# bin/hdfs dfs -mkdir -p /data/input

在容器中创建my_wordcount.txt文件，编辑一些单词 ，Esc :wq保存

[root@hadoop0 hadoop]# vim my_wordcount.txt

将本地的文件上传到hdfs

[root@hadoop0 hadoop]# bin/hdfs dfs -put my_wordcount.txt /data/input

启动wordcount程序，指定输入文件和输出文件（版本号需要改）

[root@hadoop0 hadoop]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /data/input/my_wordcount.txt /data/out/my_wordcount

查看运行结果

[root@hadoop0 hadoop]# bin/hdfs dfs -cat /data/out/my_wordcount/part-r-00000
tianyouououou
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
使用 ssh 命令连接远程服务器。 ssh root@[Your IP Address] 更新软件列表 apt-get update 更新完成。 安装 Docker sudo apt-get install docker.io 当遇到输入是否继续时，输入「Y／y」继续。 安装完成 ...
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
Docker 网络配置
weixin_34117211的博客
10-25 176
2019独角兽企业重金招聘Python工程师标准>>> ...
Docker系列之七：Docker 网络（内部网络、容器之间的连接）
热门推荐
wucong60的专栏
11-05 1万+
系列链接 Docker系列之一：Docker介绍及在Ubuntu上安装 Docker系列之二：Docker 入门 Docker系列之三：使用Docker镜像和仓库 Docker系列之四：Dockerfile的使用 Docker系列之五：Volume 卷的使用——以Redis为例 Docker系列之六：Volume 卷的使用——在Dockerfile中的用法 Docker系列之七：Do...
Docker基础（四）docker网络
qq_30118563的博客
02-24 381
文章目录一、Docker01.1 宿主机ip addr1.2 容器ip addr1.3 原理二、 一、Docker0 1.1 宿主机ip addr 关于IP addr: [https://www.cnblogs.com/wqbin/p/11065587.html] 1.2 容器ip addr 启动一个tomcat ，看容器网络： 注意： a) 这里的116: eth0@if117 就是docker 生成的网卡 b) 命令： docker exec -it ContainerID ip addr 查看
docker跨子网通信
qq_25855901的博客
11-12 470
docker网络中iptables的一些设置 docker通过filter表的FORWARD链进行子网隔离，通过自定义链DOCKER-ISOLATION-STAGE-1和DOCKER-ISOLATION-STAGE-2控制； docker的filter表中FORWARD链有自定义链DOCKER-USER，用于用户自定义一些规则，这条链放在了FORWARD链的最开始处； docker子网间通信默认会进行NAT转换，动作方式为MASQUERADE，因此如果在子网间通信时不想进行NAT转换，可在nat表的POS
Docker网络配置
weixin_52639224的博客
02-21 1007
一、网络相关 IP 子网掩码 网关 DNS 端口号 1.子网掩码 互联网是由许多小型网络构成的，每个网络上都有许多主机，这样便构成了一个有层次的结构。 IP地址在设计时就考虑到地址分配的层次特点，将每个IP地址都分割成网络号和主机号两部分，以便于 IP地址的寻址操作。 子网掩码是“255.255.255.0”的网络： 最后面一个数字可以在0~255范围内任意变化，因此可以提供256个IP地址。但是实际可用的IP地 址数量是256-2，即254个，因为主机号不能全是“0”或全是“1”。 子网掩码
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
【Docker】网络模式详解及容器间网络通信
最新发布
SAME_LOVE的博客
01-17 1538
在 Docker 中，网络设置包括 IP 地址、子网掩码、网关、DNS 和端口号等关键组成部分。IP 地址：IP 地址是 Docker 容器在网络中的唯一标识。每个 Docker 容器都会被分配一个 IP 地址，用于在网络中进行通信。在 Docker 的默认网络模式下，Docker 容器的 IP 地址是由 Docker 内部的 IPAM（IP 地址管理）系统自动分配的。子网掩码：子网掩码用于划分 IP 地址的网络部分和主机部分。
浏览器/外网访问docker container中的hadoop
weixin_30920853的博客
04-25 907
假设你制作了个docker的 hadoop的镜像，镜像名叫 hd_image，如果想在外网的浏览器中访问hadoop的50070和8088端口，则在启动镜像hd_image时， 脚本如下： docker run -d -it -h aaaaa -p 50070 -p 8088 --name bbbbb hd_image --name bbbbb，表示这个容器的名字是bbbbb. -...
Docker网络配置&网络模式
ChatYU的博客
01-17 1518
网络相关概念，子网掩码、网关、规则的介绍及网络模式bridge、host详解，Dockers自定义网络配置
4.Docker网络配置
m0_60413225的博客
02-21 1286
网络相关 IP 子网掩码 网关 DNS 端口号 子网掩码 互联网是由许多小型网络构成的，每个网络上都有许多主机，这样便构成了一个有层次的结构。 IP地址在设计时就考虑到地址分配的层次特点，将每个IP地址都分割成网络号和主机号两部分，以便于 IP地址的寻址操作。 子网掩码是“255.255.255.0”的网络： 最后面一个数字可以在0~255范围内任意变化，因此可以提供256个IP地址。但是实际可用的IP地 址数量是256-2，即254个，因为主机号不能全..
【Docker】网络配置的三种方式
万维网连五洲，二进制写尽天下事，喜欢结识新伙伴寻找志同道合的朋友，欢迎一起探讨学习
01-16 9206
Docker提供了多种网络模式，每种模式都有不同的用途和特点，这里我将分享给大家三种不同的常见网络模式，实现不同容器之间的连接访问
【八、Docker网路模式详解】
小呆鸟blog
06-17 2099
通过查看所有的Docker 网络 Docker默认提供了四个网络模式容器默认使用bridge网络模式，我们使用该选项指定容器使用的网络：Namespaces简介特点host模式，它没有独立的网络空间。host模式下的容器，完全和宿主机共用一个网络空间（端口、IP等），所以该模式下的容器不会虚拟出容器自身的虚拟网卡，也不会配置自己的虚拟IP。host模式下的容器，除了网络和宿主机共享，其他的资源，如文件系统、进程列表等，容器之间依然是相互隔离的。缺点结论特点缺点特点特点 Docker容器完成bridge网络配
docker 创建并分配子网ip网段然后创建容器
岳麓丹枫
09-12 990
创建子网 docker network create --driver bridge --subnet 192.168.1.0/16 --gateway 192.168.1.0 pg_network 创建容器并指定ip 实例 docker run -d --name lxmpg65433 -h lxmpg65433 -p 65433:5432 --net=pg_network --ip 192.168.0.3 lxmpg12.6:1.0
docker-compose创建网桥，添加子网，删除网卡
xzpdxz的博客
03-14 9323
1.创建docker网卡 [root@i ~]# brctl addbr docker0 [root@i ~]# ip addr add 192.168.42.1/24 dev docker0 # 这里的ip是给docker内部用的, 随意配置一个即可 [root@i ~]# ip link set dev docker0 up [root@i ~]# ip addr show dock...
Docker使用网络命令，创建自己的网络
丶益达丶的博客
08-15 9836
Docker官方推荐用户使用自己的自定义网络，所以在使用容器的时候最好使用自定义的网络，默认docker使用自带的bridge网络，bridge网络下的docker容器相互之间无法解析彼此的容器名称。如果您需要容器能够通过 bridge 网络进行通信，则官方允许使用旧版本的--link，这--link是建议使用的唯一用例。最后，官方强烈地考虑使用用户定义的网络。 好了，开始讨论Docker的基本
使用docker搭建hadoop集群
09-21
要使用Docker搭建Hadoop集群，您可以执行以下步骤： 1. 首先，您需要准备一个Docker镜像，其中包含Hadoop的安装和配置。您可以使用Dockerfile来创建自定义镜像，或者从Docker Hub上获取可用的Hadoop镜像。 2. 创建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值