Hadoop完全分布式安装基于Docker

最新推荐文章于 2024-04-29 13:32:32 发布
最新推荐文章于 2024-04-29 13:32:32 发布
阅读量1k 收藏 7
点赞数 29
文章标签： 分布式 hadoop docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79917907/article/details/137887849
版权

Hadoop完全分布式安装基于Docker

(都在root用户下)

一、拉取Centos镜像

docker pull centos
docker images

在这里插入图片描述

二、通过build Dockfile生成带ssh功能的centos镜像

vi Dockerfile

在Dockfile文件中添加以下内容

FROM centos
MAINTAINER hadoop
 
RUN cd /etc/yum.repos.d/
RUN sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
RUN sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*
RUN yum makecache
RUN yum update -y
RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum install -y openssh-clients
 
RUN echo "root:a123456" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
 
RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

基于centos镜像，生成带有spenssh-server、openssh-clients的镜像，用户为root，密码为a123456，镜像维护者（作者）为hadoop

三、生成centos7-ssh镜像

建好Dockerfile文件后，生成镜像，在终端输入：

docker build -t="centos7-ssh" .

在这里插入图片描述

1、在主机下载ssh

yum -y install openssh-server
ps -e|grep ssh

在这里插入图片描述

2、把hadoop和jdk传到/root

在这里插入图片描述

3、解压hadoop和jdk

4、生成带有ssh、hadoop和jdk环境的centos镜像

更改Dockerfile里的内容

FROM centos7-ssh
 
COPY jdk1.8.0_212 /usr/local/jdk
ENV JAVA_HOME /usr/local/jdk
ENV PATH $JAVA_HOME/bin:$PATH
 
COPY hadoop-3.1.3 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

docker build -t="hadoop" .

构建镜像

在这里插入图片描述

四、创建网桥，并启动docker容器

docker network create hadoop

docker network ls

在这里插入图片描述

启动三个容器并指定网桥

docker run -itd --network hadoop --name hadoop1 -p 50070:50070 -p 8088:8088 hadoop
docker run -itd --network hadoop --name hadoop2 hadoop
docker run -itd --network hadoop --name hadoop3 hadoop

在这里插入图片描述

查看网桥使用情况

docker network inspect hadoop

在这里插入图片描述

172.18.0.2 hadoop1
172.18.0.3 hadoop2
172.18.0.4 hadoop3

五、登录容器，配置ip地址映射和ssh免密登录

1、登录容器

docker exec -it hadoop1 bash
docker exec -it hadoop2 bash
docker exec -it hadoop3 bash

2、在每个容器中配置ip地址映射

vi /etc/hosts

在这里插入图片描述

每台配好后可以ping一下

在这里插入图片描述

3、在每台服务器配置ssh免密登录

在每台hadoop服务器终端输入：

ssh-keygen

然后一直回车即可，再在每台hadoop服务器终端中输入：

ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
填yes后，输入第二（3）步时设置的密码，a123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
填yes后，输入第二（3）步时设置的密码，a123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3
填yes后，输入第二（3）步时设置的密码，a123456

ssh-keygen
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3

在这里插入图片描述

六、修改hadoop配置文件

在hadoop1中，进入Hadoop配置目录，我的是：/usr/local/hadoop/etc/hadoop，查看目录下的文件，不同版本的Hadoop可能文件数量和名字会不同，在终端输入：

ls

1、创建文件夹，配置时要用

mkdir /home/hadoop
mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data

2、编辑hadoop_env.sh，修改下面三个参数，按照你自己的改

vi hadoop-env.sh

在这里插入图片描述

3、编辑core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

4、编辑mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
</configuration>

5、编辑hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs_name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs_data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1:9001</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop2:9002</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

6、编辑yarn-site.xml

<configuration>
 
<!-- Site specific YARN configuration properties -->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop1:8088</value>
    </property>
</configuration>

7、编辑workers,把原先的默认值localhost删除

hadoop1
hadoop2
hadoop3

8、进入hadoop/sbin目录

1、修改start-dfs.sh和stop-dfs.sh（在头部加入）
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
#HADOOP_SECURE_DN_USER=root
2、修改start-yarn.sh和stop-yarn.sh（在头部加入）
#HADOOP_SECURE_DN_USER=root
HDFS_DATANODE_SECURE_USER=root
YARN_NODEMANAGER_USER=root
YARN_RESOURCEMANAGER_USER=root

9、配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

source /etc/profile

10、把文件拷贝到hadoop2和hadoop3上

scp -r hadoop/ root@hadoop2:/usr/local/
scp -r hadoop/ root@hadoop3:/usr/local/

scp -r /home root@hadoop2:/
scp -r /home root@hadoop3:/

scp -r /etc root@hadoop2:/
scp -r /etc root@hadoop3:/

11、给文件附权限(每台)

chmod -R 777 /usr/local/hadoop
chmod -R 777 /usr/local/jdk

七、启动hadoop集群

1、格式化

hdfs namenode -format

2、一键启动hadoop集群

start-all.sh

3、测试

jps

scp -r /home root@hadoop2:/
scp -r /home root@hadoop3:/

scp -r /etc root@hadoop2:/
scp -r /etc root@hadoop3:/


### 11、给文件附权限(每台)

```shell
chmod -R 777 /usr/local/hadoop
chmod -R 777 /usr/local/jdk

七、启动hadoop集群

1、格式化

hdfs namenode -format

2、一键启动hadoop集群

start-all.sh

3、测试

jps

在这里插入图片描述

无须庸人自扰
关注
  • 29
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程
docker搭建hadoop完全分布式
qq_34631813的博客
05-09 2348
集群规划 1个NameNode节点 1个SecondaryNameNode节点 1个ResourceManager节点 1个JobHistory节点 2个Slave节点 1个Client节点 环境准备 hadoop、jdk解压备用 - docker - docker-compose - hadoop-3.2.3.tar.gz - jdk-11.0.15_linux-x64_bin.tar.gz 基础镜像制作 2.1 下载相关工具 如 ssh、vim等 2.2 上传hadoop、jdk 2.
基于Docker的Hadoop完全分布式安装
热门推荐
欢迎订阅 -- 小源笔迹
09-17 1万+
之前安装Hadoop是用VMWare创建虚拟机，然后安装伪分布式，因为虚拟机太慢，太卡，实在没有玩下去的心情了，现在想到Docker可以实现虚拟化，看看能不能安装Hadoop,网上查了查，果然可以，并且博客还不少，但都是有些小问题，并且过程不详细，没有问题解决的答案，在我踩了好多坑后，现在记录一下我在基于Docker的Hadoop完全分布式安装时的过程和遇到的问题，希望能帮到后来的童鞋． ###首...
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
weixin_62819687的博客
03-08 2822
Docker的基础操作
VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Nick&Niko ’ Home
04-02 530
基于几位前辈的经验，自己重新做的一个整理。VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Ubuntu14.04 Hadoop完全分布式安装手册
05-24
Hadoop安装
hadoop完全分布式安装步骤
09-29
hadoop完全分布式安装步骤 实验环境为VirtualBOx虚拟机
hadoop完全分布式安装配置
05-24
Hadoop2.7.6完全分布式安装配置，亲测可用！配置文档如：https://blog.csdn.net/likunwen_001/article/details/80434579
Hadoop完全分布式详细安装过程
11-23
Hadoop安装有三种模式：单机、伪分布式、完全分布式，本文档为完全分布式安装，过程很详细，设计内容包括：在win7上安装虚拟化工具VMware（用于支撑Linux系统），在VMware上安装Ubuntu系统，安装Hadoop前的准备工作...
Dokcer容器分布式搭建LNMP+wordpress论坛
hy199707的博客
04-29 841
本章主要是通过参考LNMP架构，以及自己编写的脚本，来实现在容器中分布式搭建LNMP架构，旨在学习如何通过自定义网络实现容器之间的互相通信，以及文件共享
使用 IPAM 解决方案简化分布式网络管理
ITmoster的博客
04-23 841
组织在采用分布式网络时，除了容量规划不佳之外，还面临着许多挑战，例如缺乏实时可见性、复杂性增加、反应性故障排除、可扩展性不足等等。但是，将 IPAM 和交换机端口映射解决方案合并到组织的网络中可以使其免于恶化。
手写基于redis-lua脚本实现分布式id生成器starter
qq_34905631的博客
04-23 1271
由于之前分享过一篇：百度开源分布式id生成器集成–真香警告里面提到了基于redis来实现一个分布式id生成器的思路，只是简单的说了下，本次分享就手写了一个。本文手写基于redis-lua脚本实现的分布式id生成器starter分享到此结束了，我把我手写的轮子开源出去，可以让java又多了一种分布式id生成的选择，解决了分布式id生成的问题，开源才能繁荣，通过本文的分享和之前文章的分享，在解决分布式id生成问题选择上丰富起来了，各种实现上基本都是类似和相通的，希望我的分享对你有所启发和帮助，请一键三连！
【分布式光伏】屋顶光伏电力监控系统解决方案
acrelqj715的博客
04-26 519
通过电站状态界面查看补贴电价、实时监测现场环境，并且接入气象站数据（辐照度、温湿度、风速等环境参数）、显示当前光伏电站逆变器接入数量及基本参数；通过逆变器页面查询逆变器基本参数、直流侧电压电流数据、交流电压、电流、有功功率、频率、功率因数等电参量信息；①监测站内电能质量检测仪所采集数据，如电压有效值，偏差率，谐波畸变率，电流有效值，分相功率，总功率等；接入不同厂商的逆变器，包括**电源一台，*浪一台，*德威两台，*为一台。4、逆变器曲线分析界面（**电源，*浪，*德威，*为）②完全自发自用模式（防逆流）
HDFS分布式文件存储系统
Ashenlex的博客
04-22 1275
按块（block）存储hdfs在对文件数据进行存储时，默认是按照128M(包含)大小进行文件数据拆分，将不同拆分的块数据存储在不同datanode服务器上拆分后的块数据会被分别存储在不同的服务器上副本机制为了保证hdfs的数据的安全性，避免数据的丢失，hdfs对每个块数据进行备份，默认情况下块数据会存储3份，叫做3副本副本块是存在不同的服务器上默认存储策略由类支持。也就是日常生活中提到最经典的3副本策略。
分布式与一致性协议之拜占庭将军问题(三)
Cover_sky的博客
04-23 838
CFT算法解决的是分布式系统中存在故障，但不存在恶意节点的场景下的共识问题。也就是说，这个场景可能会丢失消息或者有消息重复，但不存在错误消息或者伪造消息的情况，常见的CFT算法有Paxos算法、Raft算法、ZAB协议。需要注意的是，拜占庭将军问题描述的是最困难，也是最复杂的一种分布式故障场景，该场景除了存在故障行为，还存在恶意行为。在存在恶意行为的场景中(比如在数字货币的区块链技术中)，我们必须使用拜占庭容错算法还有PBFT算法、POW算法。反之则推荐使用拜占庭容错算法，例如区块链中使用Pow算法。
分布式WEB应用中会话管理的变迁之路
程序猿进阶
04-27 983
利用负载均衡器的分发能力，将同一浏览器上同一用户的请求，都定向发送到固定服务器上，让这个服务器处理诠用户的所有请求，这样只要这个服务器上保存了用户Session，就能保讷用户的状态一致性。，是把原来的单体架构应用，通过分而治之的手段，按照业务功能，切分成一些小的模块应用，部署在不同服务器节点上，例如上图中的服务器A和B。在这样的单体架构中，由于所有的用户请求都是由这个唯一的服务器进行响应处理，所以只要把保存了用户信息和状态的Session对象，存放在应用服务器内存里，就能轻松地达到保持用户状态的目的。
Akamai 分布式“云+边缘”，打造下一代数字化基座
最新发布
AKAMAI_CHINA的博客
04-29 207
顺势而为，Akamai Linode 不同于超大规模云的固化特征，支持客户构建云中立的应用架构，提供客户在 Linode 和其他平台上自由转换的多云选择权；在分布式“云+边缘”重构数字化底座的进程中，Akamai基于全球部署的数千个边缘节点与数十万台服务器，可形成外联用户的一环圈层；如今，Akamai 的云服务矩阵已布局“云计算、云安全、云分发”三大模块，凭借 Linode 基础设施构建能力，Akamai 能够为企业提供易于开发人员使用的大规模分布式平台，加速构建流程、并深度保护应用程序。
[最新]CentOS7设置开机自启动Hadoop集群
NBA首席形象大使坤坤
04-26 1918
安装好Hadoop后我们可以使用开机自启动的方式，节约敲命令的时间。注意是centOS7版本!!!和centOS6版本区别非常大!!! 1、切换到系统目录 [root@master ~]# cd /etc/systemd [root@master systemd]# ll total 32 -rw-r--r-- 1 root root 720 Jun 30 23:11 bootchart.conf -rw-r--r-- 1 root root 615 Jun 30 23:11 coredump
Hadoop 完全分布式安装教程
04-06
下面是Hadoop完全分布式安装的基本步骤： 1. 安装Java：首先确保你的系统已经安装了Java环境，Hadoop是基于Java开发的。你可以从Oracle官网下载并安装适合你系统的Java版本。 2. 下载Hadoop：从Apache官网下载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值