Docker部署HDFS

最新推荐文章于 2024-08-11 17:21:23 发布
最新推荐文章于 2024-08-11 17:21:23 发布
阅读量714 收藏 1
点赞数
文章标签： 运维 大数据 java
原文链接：http://www.cnblogs.com/rabbix/p/10413833.html
版权

docker部署hadoop只是实验目的，每个服务都是通过手动部署，比如namenode, datanode, journalnode等。如果为了灵活的管理集群，而不使用官方封装好的自动化部署脚本，本文还是有些启发的。

准备基础镜像

准备jdk镜像

注意，openjdk启动datanode的时候，jvm会崩溃。所以换成oraclejdk。

基础镜像以alpine为基础，上面装上jdk。Dockerfile如下。

1、openjdk1.8

FROM alpine:latest

MAINTAINER rabbix@qq.com

RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \

    apk --no-cache --update add openjdk8-jre-base bash && \

    rm -rf /var/cache/apk/*

ENV JAVA_HOME=/usr/lib/jvm/default-jvm

ENV PATH=$PATH:$JAVA_HOME/bin

docker build . -t alpine-jdk8:v1.0

2、oraclejdk1.8

下面这种方式需要手动下载glibc。

下载地址：https://github.com/sgerrand/alpine-pkg-glibc/releases/

sgerrand.rsa.pub在项目的readme中有下载地址

FROM alpine:latest
MAINTAINER rabbix@qq.com
ADD sgerrand.rsa.pub /etc/apk/keys/
COPY glibc-2.27-r0.apk /opt/
RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \
    apk add /opt/glibc-2.27-r0.apk && rm -rf /opt/glibc-2.27-r0.apk && \
    apk --no-cache --update add bash && \
    rm -rf /var/cache/apk/*

ADD jdk-8u172-linux-x64.tar.gz /opt/

ENV JAVA_HOME=/opt/jdk1.8.0_172
ENV PATH=$PATH:$JAVA_HOME/bin

自动下载glibc

FROM alpine:latest
MAINTAINER rabbix@qq.com
RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \
    wget -q -O /etc/apk/keys/sgerrand.rsa.pub https://raw.githubusercontent.com/sgerrand/alpine-pkg-glibc/master/sgerrand.rsa.pub && \
    wget https://github.com/sgerrand/alpine-pkg-glibc/releases/download/2.27-r0/glibc-2.27-r0.apk && \
    apk add glibc-2.27-r0.apk && rm -rf glibc-2.27-r0.apk && \
    apk --no-cache --update add bash && \
    rm -rf /var/cache/apk/*

ADD jdk-8u172-linux-x64.tar.gz /opt/

ENV JAVA_HOME=/opt/jdk1.8.0_172
ENV PATH=$PATH:$JAVA_HOME/bin

准备hadoop镜像

因为hadoop是以nohup的方式后台运行的，所以需要修改一下启动脚本。这里使用的是当前稳定版2.9.1。

脚本位置 hadoop-2.9.1/sbin/hadoop-daemon.sh

修改前

    case $command in
      namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc|portmap|nfs3|dfsrouter)
        if [ -z "$HADOOP_HDFS_HOME" ]; then
          hdfsScript="$HADOOP_PREFIX"/bin/hdfs
        else
          hdfsScript="$HADOOP_HDFS_HOME"/bin/hdfs
        fi
        nohup nice -n $HADOOP_NICENESS $hdfsScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &
      ;;
      (*)
        nohup nice -n $HADOOP_NICENESS $hadoopScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &
      ;;
    esac
    echo $! > $pid
    sleep 1

修改后

152     case $command in
153       namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc|portmap|nfs3|dfsrouter)
154         if [ -z "$HADOOP_HDFS_HOME" ]; then
155           hdfsScript="$HADOOP_PREFIX"/bin/hdfs
156         else
157           hdfsScript="$HADOOP_HDFS_HOME"/bin/hdfs
158         fi
159         $hdfsScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1
160       ;;
161       (*)
162         $hadoopScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1
163       ;;
164     esac
165     echo $! > $pid
166     sleep 1

修改之后重新压缩回tar.gz

Dockerfile如下：

FROM alpine-jdk1.8:v1.0

MAINTAINER rabbix@qq.com
ADD ./hadoop-2.9.1.tar.gz /opt/

docker build . -t hadoop2.9.1:v1.0

配置docker容器的ip

docker network create --subnet=172.16.0.0/16 dn0

准备配置文件

新建目录:

mkdir -p {nn,snn,dn}/{logs,data,etc}

修改配置文件

复制 hadoop-2.9.1/etc/hadoop/ 下面所有的文件到 nn/etc/

复制/etc/hosts 到 nn/etc/

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9001</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hdfs-root/</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>master:50071</value>
    </property>
    <property>
        <name>dfs.datanode.http.address</name>
        <value>slave1:50076</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondary:50091</value>
    </property>
    <property>
        <name>dfs.datanode.address</name>
        <value>slave1:50011</value>
    </property>
    <property>
        <name>dfs.datanode.ipc.address</name>
        <value>slave1:50021</value>
    </property>

</configuration>

etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.0.2 master
172.16.0.3 secondary
172.16.0.4 slave1

主机名中不允许有下划线

启动命令

namenode

因为namenode第一次需要初始化。

先执行初始化命令

docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
 --name namenode -p 9001:9001 -p 50071:50071 \
 -v /root/hadoop/nn/data/:/tmp/hdfs-root \
 -v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/nn/etc/hosts:/etc/hosts hadoop2.9.1:v1.0 \
 /opt/hadoop-2.9.1/bin/hdfs namenode -format

后启动namenode

 docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
 --name namenode -p 9001:9001 -p 50071:50071 \
 -v /root/hadoop/nn/data/:/tmp/hdfs-root \
 -v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/nn/etc/hosts:/etc/hosts hadoop2.9.1:v1.0 \
 /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start namenode

合并在一起：

docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
 --name namenode -p 9001:9001 -p 50071:50071 \
 -v /root/hadoop/nn/data/:/tmp/hdfs-root \
 -v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/nn/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
 sh -c "/opt/hadoop-2.9.1/bin/hdfs namenode -format && /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start namenode"

3.1.1的启动命令修改为：

bin/hdfs --config .... namenode
bin/hdfs --config .... datanode
secondarynamenode
datanode

新增加的datanode保证其数据目录为空，不要与其他datanode有冲突。

配置文件中的主机名也应该是自己的主机名或者域名。例如：

<property>
    <name>dfs.datanode.address</name>
    <value>slave2:50011</value>
</property>

启动：

  docker run -d --rm --net dn0 --ip 172.16.0.4 -h slave1 \
 --name datanode1 -p 50011:50011 -p 50021:50021 -p 50076:50076 \
 -v /root/hadoop/dn1/data/:/tmp/hdfs-root \
 -v /root/hadoop/dn1/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/dn1/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/dn1/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
 /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode
 docker run -d --rm --net dn0 --ip 172.16.0.5 -h slave2 \
 --name datanode2 -p 50012:50012 -p 50022:50022 -p 50077:50077 \
 -v /root/hadoop/dn2/data/:/tmp/hdfs-root \
 -v /root/hadoop/dn2/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/dn2/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/dn2/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
 /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode
 docker run -d --rm --net dn0 --ip 172.16.0.6 -h slave3 \
 --name datanode3 -p 50013:50013 -p 50023:50023 -p 50078:50078 \
 -v /root/hadoop/dn3/data/:/tmp/hdfs-root \
 -v /root/hadoop/dn3/etc/:/opt/hadoop-2.9.1/etc/hadoop \
 -v /root/hadoop/dn3/logs:/opt/hadoop-2.9.1/logs \
 -v /root/hadoop/dn3/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
 /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode

上传文件

./hdfs dfs -fs hdfs://172.16.0.2:9001 -mkdir /user
./hdfs dfs -fs hdfs://172.16.0.2:9001 -mkdir /user/root
./hdfs dfs -fs hdfs://172.16.0.2:9001 -put hadoop input

在浏览器访问: http://master:50071 就可以看到namenode的管理界面了。

扩展一台datanode

复制以分datanode的配置文件。适当修改。

增加新节点的hosts，和其他节点的hosts。

启动新的节点。

查看文件块信息

./hdfs fsck -conf /root/hadoop/nn/etc/hdfs-site.xml -fs hdfs://172.16.0.2:9001 /user/root/hadoop-2.9.1.tar.gz -blocks

转载于:https://www.cnblogs.com/rabbix/p/10413833.html

基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1936
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
docker中部署hadoop、zookeeper、hbase伪分布式并上传到阿里云远程仓库
weixin_48445640的博客
12-17 975
（1）首先写好dockerfile文件，然后使用docker build命令进行创建镜像，这时候出来的镜像内部只有centos基础环境与hadoop和jdk的安装包和一些基础的用户组配置 （2）以端口映射的形式进入容器并将相关的配置文件进行修改 （3）开启hdfs yarn服务 ...
docker部署单机hdfs
vah101的专栏
12-03 2054
docker run -i -t --network host -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash
简单讲讲在一台机器上用docker部署hadoop HDFS
qq_42901723的博客
09-13 2707
注意了!一定注意存储空间大小,确保机器至少有10G左右的空余,不然跑不起来的。
在Linux服务器上使用docker部署高可用HDFS
qq_44643155的博客
07-25 705
docker搭建分布式HDFS
基于docker安装HDFS
core815的专栏
02-19 1093
由于 Hadoop 的 master 节点需要与 slave 节点通信，需要在各个主机节点配置节点 IP，为了不用每次启动都因为 IP 改变了而重新配置，在此配置一个 Hadoop 专用的网桥，配置之后各个容器的 IP 地址就能固定下来。为了方便后续通过 Java API 访问 HDFS，需要修改脚本，添加一个端口映射，将容器的 9000 端口映射到本地的 9000 端口，我们需要在-p 8088:8088 \下添加一行，如下图所示。HDFS访问地址为：IP:9000。
大数据:基于Docker离线部署2.7.4版本ambari及启用kerberos安全认证(物理机同理)
03-17
2.基于Docker部署(物理机部署同理) 3.开启kerberos权限认证服务，并提供相关Demo 4.支持HDFS、Spark、Yarn、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop和Hcatalog等 5.很详细的文档，包括各种可能出现的Bug
docker部署doris
最新发布
qq_19891197的博客
08-11 1021
docker部署doris
docker搭建hadoop hdfs完全分布式集群
shangcunshanfu的博客
09-07 2975
1 制作hadoop镜像 参见 https://www.cnblogs.com/rmxd/p/12051866.html 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。 2 启动容器 ``` docker run --name hmaster --hostname hmaster --network hadoop -d -P \ -p 50070:50070 \ -p 50010:500.
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群 准备： 首先要有一台内存8G以上的centos7机器，我用的是阿里云主机。 其次将jdk和hadoop包上传到服务器中。 我安装的是hadoop2.7.7。包给大家准备好了，链接：https://pan.baidu.com/s/15n_W-1rqOd2cUzhfvbkH4g 提取码：vmzw。 1. 步骤 大致分以下几步： 安装
docker部署hadoop
qq_39006905的博客
03-05 947
hadoop单节点部docker部署
Docker stack一键搭建Hadoop HDFS集群
weixin_43972854的博客
07-30 999
文章目录创建网络、节点自定义标签创建swarm集群网络sg-hadoop为节点自定义标签编写yml与环境变量env编写yml文件编写hadoop.env环境变量部署启动与查看docker stack部署启动查看服务状态，一秒一次，启动之后可通过IP：端口访问界面查看服务所在node节点停止删除hadoop服务 创建网络、节点自定义标签 创建swarm集群网络sg-hadoop docker network create --driver overlay --attachable --subnet 10.11
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
weixin_62819687的博客
03-08 3146
Docker的基础操作
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 9798
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
实战：使用Docker部署Hadoop集群
勤于笔记，成于点滴。
08-10 1115
用docker方式部署hadoop集群较普通物理更为简单，且方便管理。本次实战过程用的bridge网络，如果需要远程访问hdfs则是需要用host网络构建容器。
Hadoop系列(一)Docker部署Hadoop集群
淡淡的倔强的博客
04-17 9715
搭建一个Hadoop集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机。 安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样操作系统就有了，基于这个系统镜像运行多个容器，就相当于起了多个虚机...
2024年大数据最全华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop(2)
2401_84164576的博客
05-02 719
注意：确保在主机上禁用SELinux。
presto docker部署
08-04
根据提供的引用内容，presto的docker部署可以按照以下步骤进行： 1. 部署Docker和Docker Compose。首先安装Docker和Docker Compose，并启动Docker服务。可以使用yum命令安装Docker，并使用curl命令下载并安装Docker...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值