docker 部署 hadoop集群

最新推荐文章于 2024-03-05 10:21:02 发布
最新推荐文章于 2024-03-05 10:21:02 发布
阅读量245 收藏 1
点赞数
文章标签： Hadoop Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/njpkhuan/article/details/100739855
版权

docker 安装


curl -sSL https://get.daocloud.io/docker | sh

##换源 
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://67e93489.m.daocloud.io

systemctl restart docker

拉取镜像


docker pull docker pull centos

# 查看镜像是否拉取成功
docker images

创建容器

#设置固定IP
docker network create --subnet=172.16.0.0/16 huan-net

#创建容器

#cluster-master
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-master -h cluster-master --net netgroup --ip 172.16.0.2 daocloud.io/library/centos /usr/sbin/init

#cluster-slaves
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave1 -h cluster-slave1 --net netgroup --ip 172.16.0.3 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave2 -h cluster-slave2 --net netgroup --ip 172.16.0.4 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave3 -h cluster-slave3 --net netgroup --ip 172.16.0.5 daocloud.io/library/centos /usr/sbin/init

更换YUM源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

部署Openssh

master
yum -y install openssh openssh-server openssh-clients

systemctl start sshd

vi /etc/ssh/ssh_config

#设置StrictHostKeyChecking为no

systemctl restart sshd
slave1
yum -y install openssh openssh-server openssh-clients

systemctl start sshd
slave2
yum -y install openssh openssh-server openssh-clients

systemctl start sshd
slave3
yum -y install openssh openssh-server openssh-clients

systemctl start sshd

公钥分发

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub <romte_ip>

zookeeper配置

master

将文件从主机复制到docker容器

sudo docker cp apache-zookeeper-3.5.5.tar.gz cluster-slave1:/root/tar

创建目录放置解压文件

mkdir /opt/zookeeper

解压

tar -xivf apache-zookeeper-3.5.5.tar.gz -C /opt/zookeeper/

创建zoo.cfg配置文件

cp /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg

编辑zoo配置文件

vim /opt/zookeeper/apache-zookeeper-3.5.5/conf/zoo.cfg

添加结点参数

server.1=172.16.0.2:2888:3888
server.2=172.16.0.3:2899:3899
server.3=172.16.0.4:2877:3877

创建myid文件

echo 1 > /tmp/zookeeper/myid

编辑环境变量配置文件

vim ~/.bash_profile

添加环境变量

ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5
PATH=$PATH:$ZK_HOME/bin

使配置生效

source ~/.bash_profile

将配置文件发送到slave1,slave2

scp -r ~/.bash_profile cluster-slave1:~/
scp -r ~/.bash_profile cluster-slave2:~/

scp -r /tmp/zookeeper/myid cluster-slave1:/tmp/zookeeper/
scp -r /tmp/zookeeper/myid cluster-slave2:/tmp/zookeeper/

scp -r zoo.cfg cluster-slave1:/opt/zookeeper/apache-zookeeper-3.5.5/conf/
scp -r zoo.cfg cluster-slave2:/opt/zookeeper/apache-zookeeper-3.5.5/conf/

slave1

使配置生效

source ~/.bash_profile

修改myid文件为2

slave2

修改myid文件为3

启动

zhServer.sh start

Hadoop配置

core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://jinbill</value>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>192.168.11.46:12181</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop</value>
	</property>
</configuration>
hdfs-site.xml
<configuration>
	<property>
		<name>dfs.nameservices</name>
		<value>jinbill</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.jinbill</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.jinbill.nn1</name>
		<value>cluster-master:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.jinbill.nn2</name>
		<value>cluster-slave1:8020</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.shsxt.nn1</name>
		<value>cluster-master:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.shsxt.nn2</name>
		<value>cluster-slave1:50070</value>
	</property>
	<property>
		<!-- 指定 namenode 元数据存储在 journalnode 中的路径 -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://cluster-slave1:8485;cluster-slave2:8485;cluster-slave3:8485/jinbill</value>
	</property>
	<property>
		<!-- 指定 HDFS 客户端连接 active namenode 的 java 类 -->
		<name>dfs.client.failover.proxy.provider.jinbill</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
	</value>
	</property>
	<property>
		<!-- 配置隔离机制为 ssh 防止裂 脑裂 -->
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<!-- 指定秘钥的位置 -->
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<property>
		<!-- 指定 journalnode 日志文件存储的路径 -->
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/hadoop/data</value>
	</property>
	<property>
		<!-- 开启自动故障转移 -->
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
</configuration>
yarn-site.xml
<configuration>
	<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.ha.enabled</name>
		 <value>true</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.cluster-id</name>
		 <value>mr_jinbill</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.ha.rm-ids</name>
		 <value>rm1,rm2</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.hostname.rm1</name>
		 <value>cluster-slave2</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.hostname.rm2</name>
		 <value>cluster-slave3</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.zk-address</name>
		 <value>192.168.11.46:12181</value>
	</property>
</configuration>
mapred-site.xml
<configuration>
	 <property>
		 <name>mapreduce.framework.name</name>
		 <value>yarn</value>
	 </property>
</configuration>
slaves
cluster-slave1
cluster-slave2
cluster-slave3
启动三个JornalNode

hadoop-daemon.sh start journalnode

在其中一个NameNode上格式化

hdfs namenode -format

把格式化后的元数据拷贝到另一个NameNode上

元数据初始化后会存放在 hadoop.tmp.dir 这个参数配置的地址下的叫dfs的目录里面，将这个目录复制到另一个NN的同目录下

启动刚刚格式化的NameNode

hadoop-daemon.sh start namenode

在没有格式化的NameNode上执行

hdfs namenode -bootstrapStandby

启动第二个NameNode

hadoop-daemon.sh start namenode

在其中一个NameNode上初始化zkfc

hdfs zkfc –formatZK

停止所有结点

stop-dfs.sh

全面启动

start-dfs.sh
start-yarn.sh

访问地址 50070端口和8088端口

因为我是跨域访问，所以用cmd添加一个路由 route add 172.16.0.0 mask 255.255.0.0 192.168.11.38 -p

  1. 网段地址
  2. 子网掩码
  3. 虚拟机地址，docker容器部署在该虚拟机上
效果展示



程序员朱永胜
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1846
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
[零基础]用docker搭建Hadoop集群
热门推荐
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
docker部署hadoop
最新发布
qq_39006905的博客
03-05 376
hadoop单节点部docker部署
【Docker】Docker安装Hadoop分布式集群
weixin_46429290的博客
04-06 1663
hadoop目录安装在：/usr/local/hadoop-2.7.0/etc/hadoop。访问Hadoop102:9870，查看是否能够看到hdfs界面。访问hadoop103:8088，查看能够看到yarn界面。在yarn上可以看到执行情况。
使用docker进行部署hadoop
junsuyiji的博客
10-25 1864
使用docker进行部署hadoop
使用docker部署hadoop集群的详细教程
09-29
主要介绍了使用docker部署hadoop集群的详细教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
docker中部署hadoop集群脚本
12-03
docker中启动大数据脚本
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
docker搭建Hadoop 3节点及N节点集群完整教程
学亮编程手记
08-17 721
将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。如下图所示，Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。...
docker部署单机hdfs
vah101的专栏
12-03 1990
docker run -i -t --network host -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash
使用docker部署hadoop集群
upupfeng的博客
09-04 5424
使用docker快速搭建一主两从的hadoop集群。
在Docker下搭建Spark+HDFS集群
Hipparchus的博客
05-23 9165
在Docker下搭建Spark+HDFS集群
在docker上部署centos+hadoop3.0分布式集群
yangym2002的博客
01-09 8702
完整步骤的思维导图 一、主机规划 3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址： master： 主机名： hadoop2、ip地址： 172.17.0.2 slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip地址： 172.17.0.4
Docker入门（十二）：制作hadoop3.0.3集群镜像
刘李404not_found的博客
08-01 2313
文章目录一、环境二、运行zookeeper集群镜像三、配置环境变量四、修改配置文件（三台服务器同步操作）4.1 修改hadoop-env.sh文件4.2 修改core-site.xml文件4.3 修改yarn-site.xml文件4.4 修改mapred-site.xml文件4.5 修改hdfs-site.xml文件（master）4.6 修改hdfs-site.xml文件（slave1）4.7 ...
基于Docker搭建Hadoop集群(ubuntu操作系统)
DataFlow范式
09-17 3546
1.      项目说明关于Docker方面的内容，我们这里就不做介绍了，大家可以访问Docker官方网站（https://www.docker.com）获取详细的信息，包括Docker安装部署，基本操作命令等等。 我这个项目的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群，即通过一台Ubuntu节点运行Hadoop集群环境。
Docker搭建Hadoop集群（Docker & Hadoop & HDFS & Yarn & Cluster）
三枪八路的博客
10-28 2396
Docker搭建Hadoop集群环境准备依赖安装Docker单例模式安装JDK安装Hadoop修改配置文件环境变量免密登录启动 环境准备 依赖 CentOS7.6 安装Docker 参照安装（点击） 单例模式 安装JDK 去官网上下载1.8版本的tar.gz ，如果使用yum安装或者下载rpm包安装，则会缺少Scala2.11需要的部分文件。 tar xf jdk-8u221-linux-x64....
基于docker-compose的hadoop集群搭建
Qbit编程学习笔记
04-29 2760
docker-compose.yml 这个配置文件是根据bde2020文件略作调整,去掉了tag信息(可以拉取latest)和volume信息,另外也去掉了restart配置 version: "3" services: namenode: image: bde2020/hadoop-namenode container_name: namenode ports: ...
docker部署hadoop集群
09-07
Docker部署hadoop集群的过程可以分为以下几个步骤： 1. 环境准备：确保你的机器已安装并启动了Docker。 2. 配置hadoop：根据你的需要，配置hadoop集群的相关参数，包括core-site.xml、hdfs-site.xml和yarn-site....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员朱永胜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值