Hadoop集群搭建Docker实现方式

最新推荐文章于 2023-07-12 02:19:44 发布
最新推荐文章于 2023-07-12 02:19:44 发布
阅读量384 收藏 2
点赞数
分类专栏： Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_Vivian/article/details/113249336
版权

目录

1.Docker安装

Docker安装教程点击这里

2.拉取Centos镜像用作Hadoop集群

2.1 拉取Centos镜像

docker pull daocloud.io/library/centos:latest

2.2 创建容器

  • 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网
docker network create --subnet=172.18.0.0/16 netgroup
  • 设置docker映射到容器的端口 后续查看web管理页面使用
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-master -h cluster-master -p 18088:18088 -p 9870:9870 --net netgroup --ip 172.18.0.2 daocloud.io/library/centos /usr/sbin/init

#cluster-slaves
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave1 -h cluster-slave1 --net netgroup --ip 172.18.0.3 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave2 -h cluster-slave2 --net netgroup --ip 172.18.0.4 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave3 -h cluster-slave3 --net netgroup --ip 172.18.0.5 daocloud.io/library/centos /usr/sbin/init

2.3 安装OpenSSH免密登录

2.3.1 cluster-master安装OpenSSH免密登录

  • 进入master容器
docker exec -it cluster-master /bin/bash
  • 安装OpenSSH
yum -y install openssh openssh-server openssh-clients
  • 启动
systemctl start sshd
  • 修改配置，将原来的StrictHostKeyChecking ask 设置StrictHostKeyChecking为no去掉‘#’后保存退出
vi /etc/ssh/ssh_config
  • 重启生效
systemctl restart sshd
  • ctrl+p+q退出容器

2.3.2 分别对cluster-slave安装OpenSSH免密登录

  • 安装OpenSSH
yum -y install openssh openssh-server openssh-clients
  • 启动
systemctl start sshd

2.3.3 cluster-master公钥分发

  • 生成公钥 执行命令一路回车(公钥被存放再 /root/.ssh 目录下)
ssh-keygen -t rsa
  • 用scp将公钥文件分发到集群slave主机(如果传输失败需要密码可以手动将authorized_keys公钥分别拷贝到slave机器)
ssh root@cluster-slave1 'mkdir ~/.ssh'
scp ~/.ssh/authorized_keys root@cluster-slave1:~/.ssh
ssh root@cluster-slave2 'mkdir ~/.ssh'
scp ~/.ssh/authorized_keys root@cluster-slave2:~/.ssh
ssh root@cluster-slave3 'mkdir ~/.ssh'
scp ~/.ssh/authorized_keys root@cluster-slave3:~/.ssh
  • 测试是否能免密登录(能计入slave1表示操作成功)
ssh root@cluster-slave1

2.4 Ansible安装

  • ansible会被安装到/etc/ansible目录下
[root@cluster-master /]# yum -y install epel-release
[root@cluster-master /]# yum -y install ansible
  • 配置ansible的hosts文件
vi /etc/ansible/hosts
  • 在hosts文件下配置如下内容

[cluster]
cluster-master
cluster-slave1
cluster-slave2
cluster-slave3
[master]
cluster-master
[slaves]
cluster-slave1
cluster-slave2
cluster-slave3

  • 在/etc/bashrc文件下追加如下内容(这一步的目的是为了配置docker容器hosts
    由于/etc/hosts文件在容器启动时被重写，直接修改内容在容器重启后不能保留，为了让容器在重启之后获取集群hosts，使用了一种启动容器后重写hosts的方法。)

:>/etc/hosts
cat >>/etc/hosts<<EOF
127.0.0.1 localhost
172.18.0.2 cluster-master
172.18.0.3 cluster-slave1
172.18.0.4 cluster-slave2
172.18.0.5 cluster-slave3
EOF

  • 刷新配置
source /etc/bashrc
  • 用ansible分发.bashrc至集群slave下
ansible cluster -m copy -a "src=~/.bashrc dest=~/"

至此4台Linux服务器就安装配置完成了！

3.安装JDK及Hadoop

3.1安装jdk

  • 在/opt路径下下载jdk1.8
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
  • 解压到当前文件
tar -zxvf jdk-8u141-linux-x64.tar.gz

3.2安装Hadoop

3.3 解压后配置环境变量

  • /etc/bashrc文件下添加如下配置保存退出
	#hadoop
	export HADOOP_HOME=/opt/hadoop-3.2.0
	export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
	
	#java
	export JAVA_HOME=/opt/jdk1.8.0_141
	export PATH=$JAVA_HOME/bin:$PATH
  • 刷新配置
source /etc/bashrc

3.4 配置xml

	cd $HADOOP_HOME/etc/hadoop/

1、修改core-site.xml

	<configuration>
	    <property>
	        <name>hadoop.tmp.dir</name>
	        <value>/home/hadoop/tmp</value>
	        <description>A base for other temporary directories.</description>
	    </property>
	    <!-- file system properties -->
	    <property>
	        <name>fs.default.name</name>
	        <value>hdfs://cluster-master:9000</value>
	    </property>
	    <property>
	    <name>fs.trash.interval</name>
	        <value>4320</value>
	    </property>
	</configuration>

2、修改hdfs-site.xml

	<configuration>
	<property>
	   <name>dfs.namenode.name.dir</name>
	   <value>/home/hadoop/tmp/dfs/name</value>
	 </property>
	 <property>
	   <name>dfs.datanode.data.dir</name>
	   <value>/home/hadoop/data</value>
	 </property>
	 <property>
	   <name>dfs.replication</name>
	   <value>3</value>
	 </property>
	 <property>
	   <name>dfs.webhdfs.enabled</name>
	   <value>true</value>
	 </property>
	 <property>
	   <name>dfs.permissions.superusergroup</name>
	   <value>staff</value>
	 </property>
	 <property>
	   <name>dfs.permissions.enabled</name>
	   <value>false</value>
	 </property>
	 </configuration>

3、修改mapred-site.xml

	<configuration>
	<property>
	  <name>mapreduce.framework.name</name>
	  <value>yarn</value>
	</property>
	<property>
	    <name>mapred.job.tracker</name>
	    <value>cluster-master:9001</value>
	</property>
	<property>
	  <name>mapreduce.jobtracker.http.address</name>
	  <value>cluster-master:50030</value>
	</property>
	<property>
	  <name>mapreduce.jobhisotry.address</name>
	  <value>cluster-master:10020</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>cluster-master:19888</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.done-dir</name>
	  <value>/jobhistory/done</value>
	</property>
	<property>
	  <name>mapreduce.intermediate-done-dir</name>
	  <value>/jobhisotry/done_intermediate</value>
	</property>
	<property>
	  <name>mapreduce.job.ubertask.enable</name>
	  <value>true</value>
	</property>
	</configuration>

4、yarn-site.xml

	<configuration>
	    <property>
	   <name>yarn.resourcemanager.hostname</name>
	   <value>cluster-master</value>
	 </property>
	 <property>
	   <name>yarn.nodemanager.aux-services</name>
	   <value>mapreduce_shuffle</value>
	 </property>
	 <property>
	   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	 </property>
	 <property>
	   <name>yarn.resourcemanager.address</name>
	   <value>cluster-master:18040</value>
	 </property>
	<property>
	   <name>yarn.resourcemanager.scheduler.address</name>
	   <value>cluster-master:18030</value>
	 </property>
	 <property>
	   <name>yarn.resourcemanager.resource-tracker.address</name>
	   <value>cluster-master:18025</value>
	 </property> <property>
	   <name>yarn.resourcemanager.admin.address</name>
	   <value>cluster-master:18141</value>
	 </property>
	<property>
	   <name>yarn.resourcemanager.webapp.address</name>
	   <value>cluster-master:18088</value>
	 </property>
	<property>
	   <name>yarn.log-aggregation-enable</name>
	   <value>true</value>
	 </property>
	<property>
	   <name>yarn.log-aggregation.retain-seconds</name>
	   <value>86400</value>
	 </property>
	<property>
	   <name>yarn.log-aggregation.retain-check-interval-seconds</name>
	   <value>86400</value>
	 </property>
	<property>
	   <name>yarn.nodemanager.remote-app-log-dir</name>
	   <value>/tmp/logs</value>
	 </property>
	<property>
	   <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
	   <value>logs</value>
	 </property>
	</configuration>

5、将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

	#!/usr/bin/env bash
	HDFS_DATANODE_USER=root
	HADOOP_SECURE_DN_USER=hdfs
	HDFS_NAMENODE_USER=root
	HDFS_SECONDARYNAMENODE_USER=root

6、将start-yarn.sh，stop-yarn.sh顶部添加以下参数

	#!/usr/bin/env bash
	YARN_RESOURCEMANAGER_USER=root
	HADOOP_SECURE_DN_USER=yarn
	YARN_NODEMANAGER_USER=root

3.5打包并发送到slave

  • 在/opt/文件下执行下面命令打包
  tar -cvf hadoop-dis.tar hadoop hadoop-3.2.0
  • 使用ansible-playbook分发.bashrc和hadoop-dis.tar至slave主机，创建hadoop-dis.yaml文件，文件内容如下：
- hosts: cluster
  tasks:
    - name: copy .bashrc to slaves
      copy: src=~/.bashrc dest=~/
      notify:
        - exec source
    - name: copy hadoop-dis.tar to slaves
      unarchive: src=/opt/hadoop-dis.tar dest=/opt

  handlers:
    - name: exec source
      shell: source ~/.bashrc
  • 执行发送命令
ansible-playbook hadoop-dis.yaml

在这里插入图片描述

4.Hadoop 启动

4.1 格式化namenode

  • 如果看到storage format success等字样，即可格式化成功
hadoop namenode -format
  • 启动集群
cd $HADOOP_HOME/sbin
./start-all.sh
  • 验证
http://host:18088
http://host:9870

在这里插入图片描述

5.端口

HDFS端口

参数描述默认配置文件例子值
fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/
dfs.http.addressNameNode web管理端口50070hdfs- site.xml0.0.0.0:50070
dfs.datanode.addressdatanode　控制端口50010hdfs -site.xml0.0.0.0:50010
dfs.datanode.ipc.addressdatanode的RPC服务器地址和端口50020hdfs-site.xml0.0.0.0:50020
dfs.datanode.http.addressdatanode的HTTP服务器和端口50075hdfs-site.xml0.0.0.0:50075

MR端口

参数描述默认配置文件例子值
mapred.job.trackerjob-tracker交互端口8021mapred-site.xmlhdfs://master:8021/
jobtracker的web管理端口50030mapred-site.xml0.0.0.0:50030
mapred.task.tracker.http.addresstask-tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060

其它端口

参数描述默认配置文件例子值
dfs.secondary.http.addresssecondary NameNode web管理端口50090hdfs-site.xml0.0.0.0:50090
懒惰虫儿
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker搭建Hadoop集群
weixin_42258633的博客
06-25 4916
docker搭建hadoop集群
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程服务器。 ssh root@[Your IP ...
使用docker部署hadoop集群的详细教程
09-29
主要介绍了使用docker部署hadoop集群的详细教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
【企业级】Docker项目实战：一键部署Hadoop集群（跨物理节点）
03-30
此课程是Docker技术+Hadoop技术+ Linux Shell编程的深度综合应用。本课程的成果，自己平时工作学习就能用，可以轻松在自己笔记本上启动10~20个分布式节点！在找工作和面试时，能用它进行演示，展示自己的水平，为自己加分！只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建、Docker存储驱动使用、Docker bridge网络、Docker Overlay网络、基于Docker的分布式集群构建、Hadoop集群构建等多种技术的综合应用。  
[零基础]用docker搭建Hadoop集群
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
史上最详细的hadoop安装教程（含坑点）
m0_67391377的博客
08-28 2万+
最近因为需要所以要安装hadoop，但是网上怎么说呢，就是很混乱，各种资料，各种安装方法，总体来说都不是很有效果，经过了3天的挣扎，收集资料，才完成了部署。输入jps看到上述四个即完成启动。...
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
ubuntu docker搭建Hadoop集群环境的方法
09-30
主要介绍了ubuntu docker搭建Hadoop集群环境，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 6962
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
weixin_62819687的博客
03-08 2832
Docker的基础操作
基于docker的集群搭建
qq_45841851的博客
12-28 2079
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AHyZbvk7-1672214916036)(C:\Users\86151\AppData\Roaming\Typora\typora-user-images\image-20221222153732976.png)]​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bO6PtEdq-1672214916038)(imgs\2020-02-25_091958.png)]上传solr的配置文件。
Hadoop安装教程
最新发布
dream_xin2013的专栏
07-12 1559
主要介绍了在虚拟环境下如何配置并安装hadoop服务，对于hadoop服务安装时需要修改的几个配置文件示例
超详细Hadoop安装教程（单机版、伪分布式）
kunkun的博客
04-17 6251
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop安装教程（一次填完所有的坑）
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
使用docker搭建hadoop集群
IT小辉同学
06-28 1101
每一天，都充满惊喜，总会遇见不同的人，看见不同的风景，听见不同的故事，这样就很好！！！
Hadoop (七) --------- 使用 Docker 搭建 Hadoop 运行环境
在森林里麋了鹿
07-14 3395
使用 docker 搭建 hadoop 集群
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值