docker搭建hadoop2x集群 [记录]

最新推荐文章于 2023-12-20 18:13:26 发布
最新推荐文章于 2023-12-20 18:13:26 发布
阅读量132 收藏
点赞数
文章标签： docker centos hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiluoe/article/details/116458706
版权

  • 创建工作文件夹

    mkdir -p ~/workspace/centos7-tools ~/workspace/hadoop2x-workspace

  • 转到工作目录

    cd ~/workspace/centos7-tools

  • 编写centos7-tools dockerfile

    vim Dockerfile

    FROM centos
MAINTAINER yiluoe

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config

RUN yum  install -y openssh-clients

RUN echo "root:root" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

RUN yum install -y which sudo
RUN yum install -y java-1.8.0-openjdk-devel.x86_64

  • 构建对应docker镜像 （该镜像包含 sudo、ssh、which、jpa等相应命令，并创建root用户且将其加入sudoers。）

    docker build -t=“centos7-tools:1.0.0” .

  • 复制准备对应资源

    cp jdk-8u241-linux-x64.tar.gz hadoop-2.5.2.tar.gz zookeeper-3.4.6.tar.gz hbase-0.98.9-hadoop2-bin.tar.gz ~/hadoop2x-workspace

  • 转到工作目录

    cd ~/workspace/hadoop2x-workspace

  • 编写centos7-hadoop2x dockerfile

    vim Dockerfile

    FROM centos7-tools:1.0.0
ADD jdk-8u241-linux-x64.tar.gz /usr/local/jdk-8u241-linux-x64.tar.gz
RUN mv /usr/local/jdk-8u241-linux-x64.tar.gz /usr/local/jdk
ENV JAVA_HOME /usr/local/jdk/jdk1.8.0_241

ADD hadoop-2.5.2.tar.gz /usr/local/hadoop-2.5.2.tar.gz
RUN mv /usr/local/hadoop-2.5.2.tar.gz /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop/hadoop-2.5.2

ADD zookeeper-3.4.6.tar.gz /usr/local/zookeeper-3.4.6.tar.gz
RUN mv /usr/local/zookeeper-3.4.6.tar.gz /usr/local/zookeeper
ENV ZOOKEEPER_HOME /usr/local/zookeeper/zookeeper-3.4.6

ADD hbase-0.98.9-hadoop2-bin.tar.gz /usr/local/hbase-0.98.9-hadoop2-bin.tar.gz
RUN mv /usr/local/hbase-0.98.9-hadoop2-bin.tar.gz /usr/local/hbase
ENV HBASE_HOME /usr/local/hbase/hbase-0.98.9-hadoop2

ENV PATH $PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin

  • 构建对应docker镜像

    docker build -t=“centos7-hadoop2x:1.0.0” .

  • 创建hadoop2x专属docker网络栈

    docker network create --subnet=172.32.0.0/24 net-centos7-hadoop2x

  • 创建容器

    docker run -d --name centos7-hadoop2x1 --hostname centos7-hadoop2x1 \
	--network net-centos7-hadoop2x \
	--network-alias centos7-hadoop2x1 \
	-p 50070:50070 \
  -p 50030:50030 \
	-p 9000:9000 \
  -p 9001:9001 \
	-p 1021:22 \
centos7-hadoop2x:1.0.0


docker run -d --name centos7-hadoop2x101 -m 2048m \
	--hostname centos7-hadoop2x1 \
	--network net-centos7-hadoop2x \
	--network-alias centos7-hadoop2x1 \
	-p 50070:50070 \
  -p 50030:50030 \
	-p 9000:9000 \
-p 9001:9001 \
  -p 8020:8020 \
  -p 2888:2888 \
  -p 3888:3888 \
	-p 1021:22 \
centos7-hadoop2x:1.0.1

  docker run -d --name centos7-hadoop2x2 --hostname centos7-hadoop2x2 \
  	--network net-centos7-hadoop2x \
  	--network-alias centos7-hadoop2x2 \
  	-p 1022:22 \
  centos7-hadoop2x:1.0.0

docker run -d --name centos7-hadoop2x3 --hostname centos7-hadoop2x3 \
	--network net-centos7-hadoop2x \
	--network-alias centos7-hadoop2x3 \
	-p 1023:22 \
centos7-hadoop2x:1.0.0

docker run -d --name centos7-hadoop2x4 --hostname centos7-hadoop2x4 \
	--network net-centos7-hadoop2x \
	--network-alias centos7-hadoop2x4 \
	-p 1024:22 \
centos7-hadoop2x:1.0.0

  • 四个容器之间免密登陆（笛卡尔积式 自己登自己也要免密）

  • 在每个容器上都 生成ssh公私密钥对，输入命令：ssh-keygen -t rsa 按三下回车

  • 进入第一个服务器 centos7-hadoop2x1（方式有很多：直接点击容器图标、使用docker exec命令、ssh链接"ssh root@localhost -p 1021"）

  • 将公钥文件传给第二服务器

    scp ~/.ssh/id_rsa.pub root@centos7-hadoop2x2:/root/.ssh/authorized_keys

  • 进入第二个服务器且编辑刚刚传输的文件，将剩余三个服务器的ssh公钥追加到该文件

    vim ~/.ssh/authorized_keys

  • 编辑完成后将该文件传输到另外三台服务器

    过程略…

  • 测试是否免密登陆成功 输入命令 ：

    ssh centos7-hadoop2x1

    ssh centos7-hadoop2x2

    ssh centos7-hadoop2x3

    ssh centos7-hadoop2x4

  • 修改 hadoop配置文件

    vi hadoop-env.sh

    export JAVA_HOME=${JAVA_HOME} 改为 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_241

  • 修改 hdfs配置文件

    vi hdfs-site.xml

    <property>
  <name>dfs.nameservices</name>
  <value>yiluoe</value>
</property>
<property>
  <name>dfs.ha.namenodes.yiluoe</name>
  <value>nn1,nn2</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.yiluoe.nn1</name>
  <value>centos7-hadoop2x1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.yiluoe.nn2</name>
  <value>centos7-hadoop2x2:8020</value>
</property>

<property>
  <name>dfs.namenode.http-address.yiluoe.nn1</name>
  <value>centos7-hadoop2x1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.yiluoe.nn2</name>
  <value>centos7-hadoop2x2:50070</value>
</property>

    配置命名服务后面有很多地方要用到，该服务下有两个namenode分别为nn1、nn2。

    配置RPC协议的端口和主机：将这两个namenode节点分别安排到centos7-hadoop2x1、centos7-hadoop2x2服务器。

    配置HTTP协议的端口和主机：对外访问时。

  • 配置 JournaNode

    <property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://centos7-hadoop2x2:8485;centos7-hadoop2x3:8485;centos7-hadoop2x4:8485/yiluoe</value>
</property>

  • 寻找 NameNode 活动状态配置类

    <property>
  <name>dfs.client.failover.proxy.provider.yiluoe</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

  • 配置 sshfence

    <property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

把ssh的密钥文件交给hadoop。

  • 配置 JournaNode 工作目录

    <property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/jb/data</value>
</property>

  • 配置开启自动切换

    <property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

    当某个节点gua掉了则会自动切换。

  • 配置文件总体

    <configuration>
<property>
  <name>dfs.nameservices</name>
  <value>yiluoe</value>
</property>
<property>
  <name>dfs.ha.namenodes.yiluoe</name>
  <value>nn1,nn2</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.yiluoe.nn1</name>
  <value>centos7-hadoop2x1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.yiluoe.nn2</name>
  <value>centos7-hadoop2x2:8020</value>
</property>

<property>
  <name>dfs.namenode.http-address.yiluoe.nn1</name>
  <value>centos7-hadoop2x1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.yiluoe.nn2</name>
  <value>centos7-hadoop2x2:50070</value>
</property>

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://centos7-hadoop2x2:8485;centos7-hadoop2x3:8485;centos7-hadoop2x4:8485/yiluoe</value>
</property>

<property>
  <name>dfs.client.failover.proxy.provider.yiluoe</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/jb/data</value>
</property>

<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
</configuration>

  • 配置 NameNode 入口

    vi core-site.xml

    <property>
  <name>fs.defaultFS</name>
  <value>hdfs://yiluoe</value>
</property>

    这个是我们刚刚刚配置的命名服务。

  • 配置 Zookeeper 集群（稍后搭建）

    <property>
   <name>ha.zookeeper.quorum</name>
   <value>centos7-hadoop2x1:2181,centos7-hadoop2x2:2181,centos7-hadoop2x3:2181</value>
 </property>

  • 修改 Hadoop 临时目录

    <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop-2.5.2</value>
</property>

  • 配置 DataNode

    vi slaves

    centos7-hadoop2x2
centos7-hadoop2x3
centos7-hadoop2x4

  • 配置 MapReduce

    vi yarn-site.xml

    <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  
<property>  
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.hostname</name>  
    <value>centos7-hadoop2x1</value>  
</property>

    设置yarn且将yarn放到服务器centos7-hadoop2x1中

  • 配置

    cp mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <final>true</final>
</property>

    将mapreduce交给yarn去处理，hadoop2x无须再大量的配置mapred-site.xml。

  • 同步配置

    2、3、4、执行

    rm -rf /usr/local/hadoop/hadoop-2.5.2/etc/hadoop/

    1、执行

    scp -r /usr/local/hadoop/hadoop-2.5.2/etc/hadoop root@centos7-hadoop2x2:/usr/local/hadoop/hadoop-2.5.2/etc

    scp -r /usr/local/hadoop/hadoop-2.5.2/etc/hadoop root@centos7-hadoop2x3:/usr/local/hadoop/hadoop-2.5.2/etc

    scp -r /usr/local/hadoop/hadoop-2.5.2/etc/hadoop root@centos7-hadoop2x4:/usr/local/hadoop/hadoop-2.5.2/etc

  • 配置zookeeper

    cd /usr/local/zookeeper/zookeeper-3.4.6/conf/

    cp zoo_sample.cfg zoo.cfg

    vi zoo.cfg

  • 修改数据文件夹

    dataDir=/tmp/zookeeper 改为 dataDir=/opt/zookeeper

  • 配置 zookeeper 数量

    server.1=centos7-hadoop2x1:2888:3888
server.2=centos7-hadoop2x2:2888:3888
server.3=centos7-hadoop2x3:2888:3888

    zookeeper节点所在服务器与对应编号。

  • 设置 zookeeper的服务器编号

    mkdir /opt/zookeeper

    vi /opt/zookeeper/myid

    写入对应数字（1 ～ 3）到文件即可（主要与刚刚设置的服务器编号对应）

    1、2、3指定了zookeeper服务的节点都要设置。

  • 同步zookeeper配置文件到 2、3（因为只有这三个节点设置了zookeeper）

    rm -rf /usr/local/zookeeper/zookeeper-3.4.6/conf

​ scp -r /usr/local/zookeeper/zookeeper-3.4.6/conf root@centos7-hadoop2x2:/usr/local/zookeeper/zookeeper-3.4.6

​ scp -r /usr/local/zookeeper/zookeeper-3.4.6/conf root@centos7-hadoop2x3:/usr/local/zookeeper/zookeeper-3.4.6

​

  • 分别在服务器1、2、3、上启动zookeeper

    sh /usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start

  • 分别在服务器2、3、4上启动 journalnode

    sh /usr/local/hadoop/hadoop-2.5.2/sbin/hadoop-daemon.sh start journalnode

  • 格式化服务器(1)的namenode

    sh /usr/local/hadoop/hadoop-2.5.2/bin/hdfs namenode -format

    此操作若成功则会在 /opt 生成 hadoop-2.5.2数据文件

  • 启动服务器(1)的namenode（单独启动）

    sh /usr/local/hadoop/hadoop-2.5.2/sbin/hadoop-daemon.sh start namenode

  • 在另一个 namenode节点(服务器2)， 复制(服务器1)的初始化数据。

    sh /usr/local/hadoop/hadoop-2.5.2/bin/hdfs namenode -bootstrapStandby

  • 在已经启动的namenode节点服务器上（1），停止目前启动的所有服务。

    sh /usr/local/hadoop/hadoop-2.5.2/sbin/stop-dfs.sh

  • 在服务器(1)格式化 zookeeper

    sh /usr/local/hadoop/hadoop-2.5.2/bin/hdfs zkfc -formatZK

  • 启动所有节点

    sh /usr/local/hadoop/hadoop-2.5.2/sbin/start-all.sh

以罗伊
关注
在 Centos7 下使用 Docker 快速搭建 Hadoop 集群
IT小村
07-22 6363
一、前言 按传统方法，能否在服务器上，能否成功搭建 hadoop 集群，取决于配置是否配置成功 在习惯优于配置的时代，已然过时 使用 docker 技术，零配置，10 秒内轻松搭建 hadoop 集群 本文图文并茂，轻松阅读无障碍 二、环境搭建 主要使用的镜像：kaibb/hadoop 2.1.拉取镜像 docker pull registry.aliyuncs.com/kaibb...
[零基础]用docker搭建Hadoop集群
热门推荐
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
通过docker-compose安装hadoop
最新发布
taoruicheng1的博客
12-20 2042
docker-compose的Compose配置文件语法版本有3个版本,分别为1, 2.x 和 3.x。如果不关闭V2版本的话，运行docker-compose命令时会报错：unexpected character “-” in variable name near，执行docker-compose disable-v2解决该问题。4）对于高可用集群，默认会启动两个NameNode，一个是Active NameNode，另一个是Standby NameNode，两个NameNode承担不同角色。
Docker安装hadoop2.6
weixin_30932215的博客
08-23 208
10.35.22.911注意：这个镜像中的root用户的密码是root mkdir centos-ssh-root cd centos-ssh-root Vi Dockerfile FROM centos MAINTAINER jieranli <jieran.li@thomsonreuters.com> RUN yum install -y openssh-serv...
Centos下docker搭建Hadoop集群
guangyinglanshan的博客
01-16 509
随着业务发展需要，数据量的逐步提升，需要用到hadoop来处理一些数据，所以搭建一个Hadoop集群，搭建Hadoop集群需要多台主机，但是由于资源有限，所以刚好可以利用近些年比较火的docker来搭建，用docker搭建也有一个好处，就是一次构建多节点重复利用。在上服务器之前，现在自己的电脑里用虚拟机模拟一下，顺便可以做个记录，把可能遇到的坑先趟过去（谁叫我笔记本16G内存呢）。 第一步、
centos7+docker+hadoop集群 搭建
m0_67394006的博客
08-14 345
yum 即可。
mac上基于docker搭建hadoop集群
01-20
2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，...
基于Docker搭建Hadoop集群(2).docx
09-06
"基于Docker搭建Hadoop集群" 在本文中，我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具，而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中，我们可以更方便地管理和...
基于docker搭建Hadoop集群
Smile Wang
12-02 460
准备环节 云服务器一个 1下载好docker 2docker下载centos镜像(我下载的centos8) docker pull centos 3启动容器同时进入启动的容器进行相关操作 docker run -it --name centos-1 centos /bin/bash 4配置时区(别人配了咱也配一下吧) ln -sf /usr/share/zoneinfo/...
（centos7）搭建基于docker的hadoop集群：一
u013140345的博客
03-31 8654
一、安装docker1、使用yum方式安装docker#查看你当前的内核版本 uname -r #安装 Docker yum -y install docker安装好，使用docker verison看是否安装好了。2、建立docker组默认情况下，docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docke...
Hadoop--基础知识点--4--hadoop集群-docker搭建
Chasing__Dreams的博客
03-29 6694
此环境只能用于学习，用的是弱口令：000000 1 集群部署结构 2 提前安装好docker/docker-compose环境 3 部署 3.1 部署脚本目录 将hadoop_docker上传至linux服务器，此处用的centos7，脚本里一些安装命令是cetos环境的。部署时最好使用同版本hadoop-3.1.3，因为有个配置与该版本以后的版本不同，防止后续使用出错。 3.2 hadoop_docker目录下的文件 [1]hadoop_docker/config-default hadoop_doc
基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群
weixin_46192593的博客
06-26 905
大数据相关博客的目录 实现原理 以一主二从的Hadoop集群为例，在搭建时，需要如下条件： 启动三台机器 三台机器要相互和自身免密登录 每台机器都要有Java和Hadoop的环境，并且Hadoop的配置文件也要相同 基于这个条件，构建一个已经安装好相关软件的CentOS7镜像。 在启动镜像时，设置数据挂载卷到指定目录，作为Java、Hadoop以及以后的Storm、Hive等...
基于 Docker 搭建 Hadoop 平台
qq_15536617的博客
03-02 7812
基于 Docker 搭建完全分布式 Hadoop 平台 小白的折腾记录
Centos7下Docker安装Hadoop
hawk2014bj的博客
01-08 358
Centos7下Docker安装Hadoop 传统的Hadoop开发测试环境通常是用虚拟机搭建的，随着Docker技术的成熟，容器化已经成为了虚拟化业界的标准和发展的趋势，大有替代VMWare的架势。对于开发测试环境，Docker容器的特性（进程级别的虚拟化）会加速部署，随着Hadoop版本的迭代升级，现在最新版本已经升级到了3.3，在工作中不同的项目可能会用到不同的Hadoop版本和对应的组件，我们经常会遇到切换到不同版本和组件的业务需求。当Hadoop不同版本的Docker镜像创建好以后，在之后的工作中
Docker安装Hadoop
m0_67402013的博客
08-14 3757
docker exec -it hadoop bash进入容器。查找hadoop-env.sh的安装路径。配置备份数量，小于等于slave数量。三个容器都要修改如下三个IP映射。
hadoop集群搭建（基于docker-compose）
weixin_44608754的博客
03-04 4393
1，创建工作目录 比如：/home/hadoop 需要配置2个文件（data是挂载目录，会自动创建） 2，hadoop.env 内容不用改，基本是默认配置，后续修改配置在这修改就行了，配置详情自己百度下 CORE_CONF_fs_defaultFS=hdfs://namenode:8020 CORE_CONF_hadoop_http_staticuser_user=root CORE_CONF_hadoop_proxyuser_hue_hosts=* CORE_CONF_hadoop_pro
Hadoop (七) --------- 使用 Docker 搭建 Hadoop 运行环境
在森林里麋了鹿
07-14 3576
使用 docker 搭建 hadoop 集群
利用Docker搭建Hadoop多节点集群
这个笔记详细地记录了利用Docker搭建Hadoop集群的过程，包括了从基础镜像的创建，到Hadoop和Spark的部署，以及容器间的网络配置。这种自动化的方法大大简化了大数据环境的搭建工作，使得开发者和数据工程师能够更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值