【2023】通过docker安装hadoop以及常见报错

已于 2023-12-28 22:21:14 修改
阅读量1.5k 收藏 21
点赞数 29
分类专栏： 数据分析 文章标签： docker hadoop 容器 数据分析 python
于 2023-12-28 22:02:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/134794140
版权

💻目录

1、准备

准备安装的环境，最好是cenos的环境，相对问题会少一些，我因为是mac的内存比较珍贵，所以嫌麻烦就没安装虚拟机，所以问题非常多（所以还是不要嫌麻烦最好），就使用的是mac。

  • 目的：通过本地docker安装hadoop，实现一主二从的分布式存储集群安装。
  • 准备：

2、安装镜像

2.1、创建centos-ssh的镜像

  • 下载安装cenos7镜像
    docker pull cenos:7

这里贴一下常用指令Dockerfile的常用指令，想详细学习可以了解Dockerfile文件可以看我 🍅docker安装部署容器这一篇文章。
在这里插入图片描述

  • 创建一个Dockerfile文件
    通过Dockerfile文件创建镜像，通过ssh实现可以共用一个局域网
FROM centos:7
MAINTAINER zfp

# 添加EPEL源（如果直接是centos的环境可以不用加）
RUN yum install -y epel-release

# 安装 openssh-server 和 sudo
RUN yum install -y openssh-server sudo

# 修改 SSH 配置文件，禁用 PAM 认证。
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
#安装 OpenSSH 客户端
RUN yum  install -y openssh-clients
#配置 SSH 服务
RUN echo "root:123456" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
# 创建运行 SSH 服务所需的目录
RUN mkdir /var/run/sshd

# 暴露 SSH 端口
EXPOSE 22

# 启动 SSH 服务
CMD ["/usr/sbin/sshd", "-D"]
  • 构建centos7-ssh
    docker build -t="centos7-ssh" .

将生成一个名为centos7-ssh的镜像

2.2、创建hadoop的镜像

  • 准备需要的包，包需要和Dockerfile在同一级目录下

hadoop的jdk和hive的，该镜像除了hadoop还需要有jdk，所以需要先把jdk的包先准备好，因为要用到hive，我把hive的包也内嵌进去了，所以需要把包先准备好。

在这里插入图片描述

  • 继续创建一个Dockerfile文件
FROM centos7-ssh

ADD jdk-8u361-linux-x64.tar.gz /usr/local/
#需要确认解压之后的文件名称对不对应得上
RUN mv /usr/local/jdk1.8.0_361 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-3.3.4.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

ADD apache-hive-3.1.3-bin.tar.gz /usr/local
RUN mv /usr/local/apache-hive-3.1.3-bin /usr/local/hive
ENV HIVE_HOME /usr/local/hive
ENV PATH $HIVE_HOME/bin:$PATH

RUN yum install -y which sudo
  • 构建镜像
    docker build -t="centos7-ssh" .

3、配置ssh网络

3.1、搭建同一网段的网络

  • 创建网络
    docker network create --driver bridge hadoop-br

  • 配置三台容器的网络，hadoop1因为是主节点，所以需要把web的页面端口映射出来。

docker run -itd --network hadoop-br --name hadoop1 -p 50070:50070 -p 8088:8088 hadoop
docker run -itd --network hadoop-br --name hadoop2  hadoop
docker run -itd --network hadoop-br --name hadoop3 hadoop
  • 查看网络
    docker network inspect hadoop-br
    会看到对应的容器的ip
    在这里插入图片描述
    这个是我的，可以看自己的对应的，最后一位会从2开始
172.20.0.2 hadoop1  
172.20.0.3 hadoop2  
172.20.0.4 hadoop3

3.2、配置host实现互相之间可以免密登陆

  • 分别进入不同的容器
docker exec -it hadoop1 bash
docker exec -it hadoop2 bash
docker exec -it hadoop3 bash
  • 编辑文件
    vi /etc/hosts

把端口以及名称映射放入该文件内，需要放自己生成的hadoop-br的网络

#这个是我的
172.20.0.2 hadoop1  
172.20.0.3 hadoop2  
172.20.0.4 hadoop3

在这里插入图片描述

  • 配置免密登录
    前面镜像中已经安装了ssh服务，所以直接分别在每台机器上执行以下命令：
ssh-keygen
一路回车
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
输入密码，如果按我的来得话就是123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
输入密码，如果按我的来得话就是123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3
输入密码，如果按我的来得话就是123456

3.3、查看是否成功

ping hadoop1 
ping hadoop2
ping hadoop3
ssh hadoop1
ssh hadoop2
ssh hadoop3

如果都可以正常ping通和切换则代表成功
在这里插入图片描述

4、安装配置Hadoop

4.1、添加存储文件夹

  • 进入容器hadoop1
    最好重写进入一下,要不然可能会没有hadoop文件
    docker exec -it hadoop1 bash

  • 创建一些文件夹，用于存储hadoop运行时时产生文件的存储

mkdir /home/hadoop
mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data

4.2、添加指定配置

都添加在<configuration></configuration>标签内部，确认自己不要粘贴错误，需要先按i，否则粘贴到时候很容易去除掉一些文字

  • 编辑core-site.xml：
    vi core-site.xml
 <!--指定namenode的地址-->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
       <!--用来指定使用hadoop时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <!--用来设置检查点备份日志的最长时间-->
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
  • 编辑hdfs-site.xml：
    vi hdfs-site.xml
<!--指定hdfs中namenode的存储位置-->
 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs_name</value>
    </property>
    <!--指定hdfs中namedata的存储位置-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs_data</value>
    </property>
     <!--指定hdfs保存数据的副本数量-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
  • 编辑mapred-site.xml：
    该文件部分版本没有，是因为被加了后缀先执行
    cp mapred-site.xml.template mapred-site.xml
    在去编辑，如果有的就直接编辑就行
    vi mapred-site.xml
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
  • 编辑yarn-site.xml：
    vi yarn-site.xml
 <!--nomenodeManager获取数据的方式是shuffle-->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
     <!--指定Yarn的老大(ResourceManager)的地址-->  
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop1:8088</value>
    </property>
  • 编辑slaves文件
hadoop1
hadoop2
hadoop3

4.3、同步数据

同步拷贝数据到hadoop2、hadoop3
依次执行以下命令：

scp -r $HADOOP_HOME/ hadoop2:/usr/local/
scp -r $HADOOP_HOME/ hadoop3:/usr/local/

scp -r /home/hadoop hadoop2:/
scp -r /home/hadoop hadoop3:/

5、测试启动

5.1、启动配置

  • 分别重新连接每台机器
docker exec -it hadoop1 bash
docker exec -it hadoop2 bash
docker exec -it hadoop3 bash
  • 分别给每台机器配置hadoop sbin目录的环境变量,jdk的也追加一下，要不然可能报错
    vi ~/.bashrc或者vi ~/.bash_profile
    追加
export PATH=$PATH:$HADOOP_HOME/sbin

export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
  • 执行 source ~/.bashrc

5.2、启动hadoop

  • 格式化hdfs
    hdfs namenode -format

执行一下jps，这个时候应该是只有一个启动的（如果这个命令不行就说明jdk路径压根没配置正确）

  • 一键启动
    start-all.sh

在这里插入图片描述
这个时候如果爆上面的错误，原因是 hadoop-env.sh文件,无法通过标签去读取到jdk的地址

  • 修改全部主机的hadoop-env.sh文件
    这个时候需要先
    cd $HADOOP_HOME/etc/hadoop
    去修改
    vi hadoop-env.sh文件
    找到下面截图的这个位置把地址修改为jdk的实际安装路径，不要是{}的，路径是前面配置的Dockerfile文件时配置的路径
    在这里插入图片描述
    然后在继续执行start-all.sh启动命令，可以通过jps命令看端口是不是变多了，如下应该就是成功啦
    在这里插入图片描述

  • 最后在到映射出来的web路径去查看
    在这里插入图片描述

方渐鸿
关注
  • 29
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）
H_X_P_的博客
11-06 1771
“想要用docker搭建Hadoop集群吗？ 想要的话可以看我这篇博客！ 我把好多坑都走了，尽情复制吧！”
使用 Docker 搭建 Hadoop 分布式环境
热门推荐
王清欢的博客
07-21 1万+
对大数据初学者来说，直接用多台物理机搭建Hadoop集群是一个相当痛苦的过程，大多情况下还没开始跑wordcount，可能就被环境搭建劝退了。除了物理机，虚拟机搭建也是一种常见的方式，但这对宿主机也有着很大的性能要求。 本文的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。 快来学习吧 ~...
基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群
weixin_46192593的博客
06-26 836
大数据相关博客的目录 实现原理 以一主二从的Hadoop集群为例，在搭建时，需要如下条件： 启动三台机器 三台机器要相互和自身免密登录 每台机器都要有Java和Hadoop的环境，并且Hadoop的配置文件也要相同 基于这个条件，构建一个已经安装好相关软件的CentOS7镜像。 在启动镜像时，设置数据挂载卷到指定目录，作为Java、Hadoop以及以后的Storm、Hive等...
docker中安装hadoop过程及错误解决
潜心修行，独立思考
10-26 1335
本文主要记录build 支持hdfs的docker过程中遇到的问题，以及解决方法。 自己写的Dockerfile文件，可以参考学习下：# Creates pseudo distributed hadoop 2.7.1 # # docker build -t sequenceiq/hadoop .FROM localhost:5000/my-centos MAINTAINER xzpUSER roo
docker配置hadoop
09-28
001
mac上基于docker搭建hadoop集群
01-20
对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
docker一键安装hadoop集群
10-14
全部源码dockerfile等，按照readme说明可以使用docker一键安装hadoop集群，需要在linux系统下使用
docker 搭建hadoop以及hbase集群详解
09-30
本篇文章主要介绍了docker 搭建hadoop以及hbase集群详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Docker配置代理
qq_33906471的博客
06-11 388
有时候我们在使用docker下载镜像的时候可能想要配置代理区下载那么本文就给大家分享一下docker怎么配置代理。假设你已经有了代理，那就编辑/usr/lib/systemd/system/docker.service。在[Service]下添加。
2024.6.12 玄子Share-Docker 安装与镜像拉取
qq_62283694的博客
06-12 656
2024.6.12 玄子Share-Docker 安装与镜像拉取
在 macOS 上安装 Docker
NolanKy 的 技术博客
06-13 381
Docker Desktop 会定期发布更新。你可以通过点击菜单栏中的 Docker 图标，选择“Check for Updates”来检查并安装最新版本。确保你的 macOS 版本符合 Docker 的系统要求。Docker Desktop for Mac 需要 macOS 10.15 或更高版本。
Windows10安装配置Docker客户端和WSL2与Hyper-V虚拟机
CoffeMilk的博客
06-11 241
需要在Windows系统中安装配置Docker的客户端，方便直接管理配置docker镜像容器内容。
Docker快速部署springboot项目
普通人能赶追天才的方法只有坚持
06-10 604
本文主要介绍了怎么将springboot项目打包为docker镜像，并如何在后端服务器上使用docker快速部署springboot应用和nginx应用。
总结之Docker（四）——镜像修改非ROOT用户权限后生成新镜像并发布
IManiy的博客
06-16 245
对于需要递归处理的目录，确保使用-R标志。如果您知道容器启动过程中可能会动态创建某些目录或文件，可以预见到这些位置，并提前设置好权限。如果有复杂的权限设置逻辑，可以编写一个脚本，该脚本执行所有的权限设置逻辑，然后在Dockerfile中使用USER root执行这个脚本，最后再切换回非root用户。对于某些需要用户组内成员共同协作的目录，可以设置setgid位，这样任何用户在该目录下创建的文件都会继承该目录的组所有权。添加镜像加速器，以阿里云为例，阿里云目前推广提供镜像加速器，需要登录。
10.Docker Compose容器编排
ZYN的博客
06-16 657
​ docker建议我们每一个容器中只运行一个服务,因为docker容器本身占用资源极少,所以最好是将每个服务单独的分割开来。但是这样我们又面临以下问题：​ 如果我需要同时部署好多个服务,那么每个服务需要单独编写Dockerfile文件、构建镜像、构建容器等步骤，非常麻烦。所以docker官方给我们提供了docker-compose多服务部署的工具。
jenkins docker配置方法
最新发布
Snow_760的博客
06-16 356
docker安装jenkins
DockerCompose+Jenkins+Pipeline流水线打包Vue项目(解压安装配置Node)入门
BADAO_LIUMANG_QIZHI的博客
06-13 1268
以上使用流水线配置和打包springboot后台项目，如果要使用流水线和配置node打包vue项目，可按如下步骤。
Docker学习
田地里的大麦子
06-13 994
Docker 是一个开源的应用容器引擎，它允许开发者打包他们的应用以及应用的依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）而且更轻量级。
docker 安装hadoop
09-02
使用Docker安装Hadoop的步骤如下： 1. 安装Docker并获取centos镜像。 2. 配置容器的IP，并为容器安装SSH。 3. 安装Java和Hadoop。 4. 配置Hadoop。 5. 在master节点启动Hadoop，从节点会自动启动初始化。 6. 分别启动各个组件，包括namenode、datanode、yarn和historyserver。 7. 进行测试，可以使用hadoop安装包中提供的示例程序，对文件进行测试。 8. 可以在各个主机上使用jps命令来查看Hadoop的状态。 具体的命令示例如下： 1. 安装Docker并获取centos镜像。 2. 配置容器的IP并安装SSH。 3. 安装Java和Hadoop。 4. 配置Hadoop。 5. 在master节点启动Hadoop，从节点会自动启动初始化。 6. 启动各个组件，包括namenode、datanode、yarn和historyserver。 7. 进行测试，使用hadoop安装包中提供的示例程序对文件进行测试。 8. 使用jps命令在每台主机上查看Hadoop的状态。 请注意，以上仅为简要步骤说明，具体安装和配置过程可能因不同的环境和要求而有所不同。我建议参考具体的安装文档和教程以获取更详细的信息和指导。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [使用docker搭建Hadoop](https://blog.csdn.net/tian1345/article/details/109511799)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值