通过docker搭建hadoop集群

最新推荐文章于 2024-05-12 10:03:23 发布
最新推荐文章于 2024-05-12 10:03:23 发布
阅读量234 收藏
点赞数
分类专栏： hadoop Linux 文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34648165/article/details/113307641
版权

  • 启动一台虚拟机 centos7

  • 安装好yum源

  • 先下载一个centos7镜像作为基础镜像

    docker pull docker.io/ansible/centos7-ansible

  • 运行该镜像

    docker run -tid --name hadoop_cluster_1 --privileged=true -t docker.io/ansible/centos7-ansible /usr/sbin/init

  • 进入该镜像

    docker ps -a
docker exec -it 1e476c9b81ab /bin/bash

  • 修改容器密码：

    passwd
123456
123456

  • yum安装一些基础软件

    yum -y install vim wget screen openssh-server openssh-clients ifconfig ip initscripts tcping

  • 修改完成后验证一下

    systemctl restart sshd.service
ssh 127.0.0.1

  • 安装jdk

    yum -y install java-11-openjdk
yum -y install java-11-openjdk-devel

  • ssh免密登录

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  • 用ssh验证一下

    ssh 127.0.0.1

  • 增加hadoop用户

    useradd hadoop
passwd hadoop

  • 下载hadoop安装包,上传到宿主机

    wget https://archive.apache.org/dist/hadoop/core/hadoop-2.9.1/hadoop-2.9.1.tar.gz

  • 将安装包上传到容器中

    docker ps -a 
docker cp /opt/install/hadoop-2.9.1.tar.gz ecef8319d2c8:/opt/install

  • 进入容器

    docker exec -it 7893fe714427 /bin/bash

  • 进入/usr/local文件夹创建一个hadoop文件夹，将下载好的hadoop-2.7.3.tar.gz解压，复制到hadoop文件加下

    cd /opt/install/
tar -zxvf hadoop-2.9.1.tar.gz -C ./
cd /usr/local/
mkdir hadoop
cp -r /opt/install/hadoop-2.9.1 hadoop/

  • 配置hadoop环境变量

    vim /etc/profile
JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.7.10-4.el7_8.x86_64/
JRE_HOME=/usr/lib/jvm/jre-11-openjdk-11.0.7.10-4.el7_8.x86_64/

HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME PATH

  • 加载环境变量，使配置生效

    source /etc/profile

  • 执行hadoop命令确认可以使用

    hdfs dfs -ls /

  • hadoop环境变量配置成功之后，需要进入到hadoop_home同级目录下为hadoop创建几个工作目录。

    cd /usr/local/hadoop/
mkdir tmp
mkdir -p hdfs/name
mkdir hdfs/data

  • 修改相关配置文件

    cd /usr/local/hadoop/hadoop-2.9.1/etc/hadoop
# 修改hadoop-env.sh，指定JAVA_HOME
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.7.10-4.el7_8.x86_64/
# 修改yarn-env.sh,重新指定JAVA_HOME
vim yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.7.10-4.el7_8.x86_64/
# 修改core-site.xml
vim core-site.xml
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>
# 修改hdfs-site.xml
vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/hdfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
                <description>副本个数（每个本分割的文件会存储在几台datanode上，默认是3），这个数量应该小于datanode机器数</description>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>
# 修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <description>mapreduce's framework is yarm</description>
        </property>
</configuration>
# 修改yarn-site.xml
vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
                <description>yarn resourcemanager hostname is master</description>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>just mapreduce_shuffle can run MapReduce</description>
        </property>
</configuration>
# 修改slaves,添加datanode的hostname
vim slaves
node01
node02
node03

  • 安装hive

    • 使用默认的derby作为元数据库

    • 下载安装包

      https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz

    • 将安装包上传到宿主机上，并且拷贝到容器中

      # 退出容器后执行
docker cp apache-hive-2.3.7-bin.tar.gz 412b869263bf:/opt/install

    • 进入容器解压安装包

      tar -zxvf apache-hive-2.3.7-bin.tar.gz -C ./

    • 将解压好的目录拷贝到/usr/local/hadoop

      cd /usr/local/hadoop
cp -r /opt/install/apache-hive-2.3.7-bin ./

    • 删除安装包和多余目录

      rm -rf /opt/install/*

    • 修改配置文件

      cp /usr/local/hadoop/apache-hive-2.3.7-bin/conf/hive-default.xml.template /usr/local/hadoop/apache-hive-2.3.7-bin/conf/hive-site.xml
cd /usr/local/hadoop/apache-hive-2.3.7-bin/conf
mkdir -p /usr/local/hadoop/hive/java
vim hive-site.xml
# 在最前面加上这些配置:
  <property>
    <name>system:java.io.tmpdir</name>
    <value>/usr/local/hadoop/hive/java</value>
  </property>
  <property>
    <name>system:user.name</name>
    <value>${user.name}</value>
  </property>
# hive.metastore.schema.verification改为false

    • 配置环境变量

      vim /etc/profile
# 在文本最后加上
export HIVE_HOME="/usr/local/hadoop/apache-hive-2.3.7-bin"
# 设置PATH变量
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

    • 加载环境变量

      source /etc/profile

    • 初始化hive数据库

      schematool -initSchema -dbType derby

    • 初始化成功标志：

      Initialization script completed
schemaTool completed

    • 后台启动metastore服务

      hive --service metastore &

  • 安装完基础环境后，可以将镜像保存成一个新的镜像

    # 退出容器后执行
docker commit hadoop_cluster_1 tfws/hadoop-baseenv:v1.2

  • 通过如下命令查看容器是否保存为一个新的镜像了

    docker image ls

  • 创建master节点，即namenode节点

    docker run -tid --name hadoop-master -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -p 50090:50090 -p 8020:8020 -p 9000:9000 -p 10020:10020 -p 8030:8030 -p 19888:19888 -p 8031:8031 -p 8032:8032 -p 8033:8033 -p 8040:8040 -p 8042:8042 -p 8088:8088 -p 49707:49707 -p 2122:2122 -p 9083:9083 -p 10000:10000 -p 7077:7077 -p 8080:8080 -v /opt/install:/opt/install -h master tfws/hadoop-baseenv:v1.2 /usr/sbin/init

  • 创建node01节点，即datanode节点

    docker run -tid --name hadoop-node01 -p 50010 -p 50020 -p 50070 -p 50075 -p 50090 -p 8020 -p 9000 -p 10020 -p 8030 -p 19888 -p 8031 -p 8032 -p 8033 -p 8040 -p 8042 -p 8088 -p 49707 -p 2122 -p 9083 -p 10000 -p 7077 -p 8080 -v /opt/install:/opt/install -h node01 tfws/hadoop-baseenv:v1.2 /usr/sbin/init

  • 创建node02节点，即datanode节点

    docker run -tid --name hadoop-node02 -p 50010 -p 50020 -p 50070 -p 50075 -p 50090 -p 8020 -p 9000 -p 10020 -p 8030 -p 19888 -p 8031 -p 8032 -p 8033 -p 8040 -p 8042 -p 8088 -p 49707 -p 2122 -p 2122 -p 9083 -p 10000 -p 7077 -p 8080 -v /opt/install:/opt/install -h node02 tfws/hadoop-baseenv:v1.2 /usr/sbin/init

  • 创建node03节点，即datanode节点

    docker run -tid --name hadoop-node03 -p 50010 -p 50020 -p 50070 -p 50075 -p 50090 -p 8020 -p 9000 -p 10020 -p 8030 -p 19888 -p 8031 -p 8032 -p 8033 -p 8040 -p 8042 -p 8088 -p 49707 -p 2122 -p 2122 -p 9083 -p 10000 -p 7077 -p 8080 -v /opt/install:/opt/install -h node03 tfws/hadoop-baseenv:v1.2 /usr/sbin/init

  • 依次进入四个容器，配置ip映射

    docker exec -it hadoop-master /bin/bash
docker exec -it hadoop-node01 /bin/bash
docker exec -it hadoop-node02 /bin/bash
docker exec -it hadoop-node03 /bin/bash
vim /etc/hosts
172.17.0.2      mysql_server
172.17.0.3      master
172.17.0.4      node01
172.17.0.5      node02
172.17.0.6      node03

  • 如果重启了容器，需要对容器重新source环境变量

  • 检查ssh服务是否启动了，如果没有启动，需要启动起来

    systemctl status sshd
systemctl restart sshd

  • 完成以上操作后在master上执行start-all.sh启动hadoop

    # 第一次启动时，需要格式化
hadoop namenode -format
bash /usr/local/hadoop/hadoop-2.9.1/sbin/start-all.sh

  • 启动失败？

    The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.

  • 解决办法，在master节点ssh每个node之后就可以了,需要每两个节点之间都互相登录一遍

  • 基础镜像可能少安装的rpm

    ntpd
java-11-openjdk-devel
基础镜像时间改为CST的

  • 到每个容器上使用jps，确认有如下进程

    [root@master sbin]# jps
465 NameNode
844 ResourceManager
1118 Jps
671 SecondaryNameNode
[root@node01 logs]# jps
401 NodeManager
282 DataNode
524 Jps
[root@node02 logs]# jps
516 Jps
277 DataNode
391 NodeManager
[root@node03 logs]# jps
482 Jps
244 DataNode
358 NodeManager
星辰丶晟妍
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Docker搭建Hadoop集群
qq_53383349的博客
04-02 1061
下载VMware、Xshell、Xftp、centos7映像文件、hadoop和jdk的压缩包。
Docker安装Hadoop
weixin_33775572的博客
05-10 304
一、概述 形成了安装有vim、jdk、ssh的centos镜像，现在我们在这个的基础上继续搭建haoop。 在正式开始前，了解一些docker容器的操作命令 docker  ps：查看活动的容器   docker ps -a：查看所有的容器（包括终止状态的） docker images：查看镜像   docker run：基于镜像新建一个容器 docker container s...
使用Docker轻松部署Hadoop集群
最新发布
gitblog_00090的博客
05-12 297
使用Docker轻松部署Hadoop集群 项目地址:https://gitcode.com/kiwenlau/hadoop-cluster-docker 项目介绍 在大数据处理领域，Hadoop是一个不可或缺的名字，它为分布式存储和计算提供了强大的平台。而本开源项目Run Hadoop Cluster within Docker Containers则让部署Hadoop集群变得前所未有的简单。通过...
【企业级】Docker项目实战：一键部署Hadoop集群（跨物理节点）
03-30
此课程是Docker技术+Hadoop技术+ Linux Shell编程的深度综合应用。本课程的成果，自己平时工作学习就能用，可以轻松在自己笔记本上启动10~20个分布式节点！在找工作和面试时，能用它进行演示，展示自己的水平，为自己加分！只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建、Docker存储驱动使用、Docker bridge网络、Docker Overlay网络、基于Docker的分布式集群构建、Hadoop集群构建等多种技术的综合应用。  
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7344
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
《Hadoop系列》Docker安装Hadoop
https://blog.datasource.space
08-09 6080
1.安装docker 2.docker安装Hadoop
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
基于Docker搭建Hadoop集群(2).docx
09-06
"基于Docker搭建Hadoop集群" 在本文中，我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具，而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中，我们可以更方便地管理和...
Docker搭建Hadoop集群
12-26
里面包含Hadoop2.7，jdk1.8以及写好的Dockerfile文件，还有配置文件
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程服务器。 ssh root@[Your IP ...
ubuntu docker搭建Hadoop集群环境的方法
09-30
主要介绍了ubuntu docker搭建Hadoop集群环境，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
基于docker的hadoop高可靠集群搭建
02-22
基于docker构建hadoop分布式集群，可以适用于swarm云，k8s云，mesos云。
docker中部署hadoop集群脚本
12-03
docker中启动大数据脚本
基于Docker的Hadoop集群搭建
Life_Cycle_的博客
04-05 1579
基于Docker的Hadoop集群搭建 本文为在阿里云服务器上基于docker的Hadoop集群搭建 安装思路为 安装docker -> 运行docker导入ubuntu镜像 -> 运行ubuntu系统 -> 在系统中配置好单个节点 -> 将配置好的单个节点系统导出为镜像 -> 根据镜像启动多个docker容器 -> 多个docker容器就是集群了。 总结：就...
docker部署hadoop
qq_39006905的博客
03-05 482
hadoop单节点部docker部署
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1860
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
docker搭建hadoop hdfs完全分布式集群
shangcunshanfu的博客
09-07 2786
1 制作hadoop镜像 参见 https://www.cnblogs.com/rmxd/p/12051866.html 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。 2 启动容器 ``` docker run --name hmaster --hostname hmaster --network hadoop -d -P \ -p 50070:50070 \ -p 50010:500.
2024年大数据最全华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop(2)
2401_84164576的博客
05-02 627
注意：确保在主机上禁用SELinux。
基于docker搭建hadoop集群
06-28
要基于Docker搭建Hadoop集群，您需要遵循以下步骤： 1. 安装Docker：您需要在所有节点上安装Docker。可以通过Docker官方文档来了解如何在您的操作系统上安装Docker。 2. 创建Docker镜像：您需要创建包含Hadoop的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值