桂电人工智能学院大数据实验，使用 Docker 搭建 hadoop 集群

已于 2024-06-16 20:21:19 修改
阅读量467 收藏 9
点赞数 4
文章标签： 大数据 人工智能 docker
于 2024-06-16 03:53:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45186002/article/details/139711891
版权

桂电人工智能学院大数据实验，使用 Docker 搭建 hadoop 集群

第一步

安装 Docker, Windows 上可以使用 Docker Desktop

下载地址：https://www.docker.com/products/docker-desktop/

安装过程自行谷歌

安装好的标志：打开终端

image-20240616025430157

运行docker ps，显示下面内容即安装成功

image-20240616025530004

第二步

创建一个文件夹，名字随意，在文件夹下面新建docker-compose.yml

这是什么？

docker-compose.yml 是一个用来定义和管理多容器 Docker 应用的配置文件。通过 docker-compose.yml 文件，你可以定义多个服务（容器），以及它们之间的关系、依赖和配置。这个文件使用 YAML（YAML Ain’t Markup Language）格式编写，非常易读。

编写 docker-compose.yml

version: "3"
networks:
   hadoop-net:
      driver: bridge
services:
   # Namenode服务：HDFS的主节点，管理文件系统命名空间，控制客户端对文件的访问，维护所有文件和目录的元数据。
   namenode:
      image: apache/hadoop:3
      hostname: namenode
      command: ["hdfs", "namenode"]
      user: "root:root"
      ports:
        - 19000:9000 # HDFS Namenode服务端口
        - 9870:9870  # Namenode Web UI端口
        - 8020:8020  # HDFS Namenode RPC端口
      volumes:
        - namenode:/tmp/hadoop-root/dfs
      env_file:
        - ./config.env
      privileged: true
      environment:
          ENSURE_NAMENODE_DIR: "/tmp/hadoop-root/dfs/name" # 确保Namenode目录存在
      networks:
        - hadoop-net

   # Datanode服务：HDFS的工作节点，存储实际的数据块，处理客户端的读写请求，根据Namenode的指示执行数据块的创建、删除和复制操作。
   datanode:
      image: apache/hadoop:3
      hostname: datanode
      command: ["hdfs", "datanode"]
      user: "root:root"
      env_file:
        - ./config.env
      privileged: true
      volumes:
        - datanode:/tmp/hadoop-root/dfs # 存储数据块的路径
      networks:
        - hadoop-net

   # Datanode2服务：另一个Datanode实例，用于增加集群的存储容量和数据冗余。
   datanode2:
      image: apache/hadoop:3
      hostname: datanode2
      command: ["hdfs", "datanode"]
      user: "root:root"
      env_file:
        - ./config.env
      privileged: true
      volumes:
        - datanode2:/tmp/hadoop-root/dfs # 存储数据块的路径
      networks:
        - hadoop-net

   # Datanode3服务：又一个Datanode实例，用于进一步增加集群的存储容量和数据冗余。
   datanode3:
      image: apache/hadoop:3
      hostname: datanode3
      command: ["hdfs", "datanode"]
      user: "root:root"
      env_file:
        - ./config.env
      privileged: true
      volumes:
        - datanode3:/tmp/hadoop-root/dfs # 存储数据块的路径
      networks:
        - hadoop-net

   # ResourceManager服务：YARN中的主节点，负责资源的管理和分配，调度作业在集群中运行。
   resourcemanager:
      image: apache/hadoop:3
      hostname: resourcemanager
      command: ["yarn", "resourcemanager"]
      user: "root:root"
      ports:
         - 8088:8088 # ResourceManager Web UI端口
         - 8030:8030 # ResourceManager RPC端口
         - 8031:8031 # ResourceManager端口
         - 8032:8032 # ResourceManager端口
         - 8033:8033 # ResourceManager端口
      env_file:
        - ./config.env
      volumes:
        - ./test.sh:/opt/test.sh # 挂载测试脚本
      networks:
        - hadoop-net

   # NodeManager服务：YARN中的工作节点，负责单个节点上的资源管理和任务执行。
   nodemanager:
      image: apache/hadoop:3
      command: ["yarn", "nodemanager"]
      user: "root:root"
      env_file:
        - ./config.env
      ports:
         - 8042:8042 # NodeManager Web UI端口
      networks:
        - hadoop-net


   # 用于在宿主机设置 socks5 代理以使用容器内 hadoop-net 网络，不然使用 hadoop 的 webui 不能上传文件
   socks5:
      image: serjs/go-socks5-proxy
      container_name: socks5
      ports:
         - 10802:1080
      restart: always 
      networks:
        - hadoop-net

   # Jupyter服务：用于在Jupyter Notebook中进行PySpark实验。
   jupyter:
      image: jupyter/pyspark-notebook
      user: root
      restart: always
      volumes:
        - ./notebooks:/home/jupyternb
      environment:
        - NB_USER=jupyternb
        - NB_UID=1000
        - NB_GID=100
        - CHOWN_HOME=yes
        - JUPYTER_TOKEN=123456
      command: start.sh jupyter notebook --NotebookApp.token=${JUPYTER_TOKEN}
      working_dir: /home/jupyternb
      ports:
        - '8888:8888'
      networks:
        - hadoop-net

volumes:
  namenode:
  datanode:
  datanode2:
  datanode3:

还需要编写一个 hadoop 配置文件 config.env

# CORE-SITE.XML配置
# 设置默认的文件系统名称为HDFS，并指定namenode
CORE-SITE.XML_fs.default.name=hdfs://namenode
CORE-SITE.XML_fs.defaultFS=hdfs://namenode

# 设置静态用户为root
CORE-SITE.XML_hadoop.http.staticuser.user=root

# 指定Hadoop临时目录
CORE-SITE.XML_hadoop.tmp.dir=/tmp/hadoop-root

# HDFS-SITE.XML配置
# 设置namenode的RPC地址
HDFS-SITE.XML_dfs.namenode.rpc-address=namenode:8020

# 设置数据块的副本数量
HDFS-SITE.XML_dfs.replication=3

# MAPRED-SITE.XML配置
# 使用YARN作为MapReduce框架
MAPRED-SITE.XML_mapreduce.framework.name=yarn

# 配置MapReduce的环境变量
MAPRED-SITE.XML_yarn.app.mapreduce.am.env=HADOOP_MAPRED_HOME=${HADOOP_HOME}
MAPRED-SITE.XML_mapreduce.map.env=HADOOP_MAPRED_HOME=${HADOOP_HOME}
MAPRED-SITE.XML_mapreduce.reduce.env=HADOOP_MAPRED_HOME=${HADOOP_HOME}

# 设置MapReduce JobHistory的地址
MAPRED-SITE.XML_mapreduce.jobhistory.address=0.0.0.0:10020
MAPRED-SITE.XML_mapreduce.jobhistory.webapp.address=0.0.0.0:19888

# YARN-SITE.XML配置
# 设置ResourceManager的主机名
YARN-SITE.XML_yarn.resourcemanager.hostname=resourcemanager

# 启用NodeManager的物理内存检查
YARN-SITE.XML_yarn.nodemanager.pmem-check-enabled=true

# 设置NodeManager删除调试信息的延迟时间（秒）
YARN-SITE.XML_yarn.nodemanager.delete.debug-delay-sec=600

# 启用NodeManager的虚拟内存检查
YARN-SITE.XML_yarn.nodemanager.vmem-check-enabled=true

# 启用MapReduce Shuffle服务
YARN-SITE.XML_yarn.nodemanager.aux-services=mapreduce_shuffle

# 设置NodeManager的CPU核数
YARN-SITE.XML_yarn.nodemanager.resource.cpu-vcores=4

# 设置YARN应用程序的类路径
YARN-SITE.XML_yarn.application.classpath=opt/hadoop/etc/hadoop:/opt/hadoop/share/hadoop/common/lib/*:/opt/hadoop/share/hadoop/common/*:/opt/hadoop/share/hadoop/hdfs:/opt/hadoop/share/hadoop/hdfs/lib/*:/opt/hadoop/share/hadoop/hdfs/*:/opt/hadoop/share/hadoop/mapreduce/*:/opt/hadoop/share/hadoop/yarn:/opt/hadoop/share/hadoop/yarn/lib/*:/opt/hadoop/share/hadoop/yarn/*

# CAPACITY-SCHEDULER.XML配置
# 设置容量调度器的最大应用数量
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.maximum-applications=10000

# 设置容量调度器最大AM资源百分比
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.maximum-am-resource-percent=0.1

# 设置资源计算器
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator

# 配置默认队列
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.queues=default
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.capacity=100
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.user-limit-factor=1
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.maximum-capacity=100
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.state=RUNNING
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.acl_submit_applications=*
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.root.default.acl_administer_queue=*

# 设置节点本地延迟
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.node-locality-delay=40

# 配置队列映射
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.queue-mappings=
CAPACITY-SCHEDULER.XML_yarn.scheduler.capacity.queue-mappings-override.enable=false

这是文件夹下的两个文件

image-20240616030523851

然后运行 docker-compose -p project1 up -d

第一次运行需要拉取大概2个G的镜像，如果网络失败请自行搜索如何给 Docker Desktop 换源或者开不可描述的软件（推荐），由于某些原因，国内大部分镜像源于 2024.6.6 日后大部分关闭，因此请自行查找最新可用的镜像源，截至 2024.6.16 ，可用的有

{ 
    "registry-mirrors" : 
    [ 
      "https://docker.m.daocloud.io", 
      "https://docker.jianmuhub.com",
      "https://huecker.io",
      "https://dockerhub.timeweb.cloud",
      "https://dockerhub1.beget.com",
      "https://noohub.ru"
    ] 
}

等到出现下图则运行成功

image-20240616031105397

运行docker ps即可看到运行中的容器，如果缺少哪个容器了应该是端口号冲突导致，可以运行docker-compose logs查看日志并修改docker-compose.yml中的端口映射

image-20240616030943468

第三步

浏览器打开127.0.0.1:8888，即可看到 Jupyter Web UI

image-20240616031535520

image-20240616031611379

第四步

打开 http://127.0.0.1:9870/ 即可看到 Hadoop 的 Namenode Web UI

image-20240616032851248

image-20240616032740054

image-20240616032932730

注意：如果想从这里上传文件，需要将浏览器的网络代理到刚刚创建的 socks5 代理容器里面，下面是 Edge 浏览器设置代理教程

image-20240616032140056

搜索SwitchyOmega并获取

image-20240616032235262

配置代理，协议为socks5，地址为本机127.0.0.1，端口为docker-compose.yml里面socks5服务映射的10802端口

image-20240616032406547

记得选择代理然后刷新网页

image-20240616033113083

建议

为了和PPT里面的代码一致，建议创一个 data 目录，然后把两个文件上传到 data 下面

image-20240616033441148

后续

在 Jupyter 中需要修改 HDFS 的 URL

hdfs://namenode/data/train.tsv，主机名改成 namenode，其中/data/train.tsv为 HDFS 里面的文件路径，改成你自己的路径，如果你不知道路径，就去你刚刚上传文件的那个页面看

from pyspark import SparkConf, SparkContext
from py4j.java_gateway import java_import

# 检查是否已经存在SparkContext实例
if 'sc' in globals():
    sc.stop()

# 创建新的SparkContext实例
conf = SparkConf().setAppName("HDFSExample").setMaster("local")
sc = SparkContext(conf=conf)

# 导入必要的Java类
java_import(sc._gateway.jvm, "org.apache.hadoop.conf.Configuration")
java_import(sc._gateway.jvm, "org.apache.hadoop.fs.FileSystem")
java_import(sc._gateway.jvm, "org.apache.hadoop.fs.Path")

# 创建Hadoop配置对象
hadoop_conf = sc._gateway.jvm.Configuration()
hadoop_conf.set("fs.defaultFS", "hdfs://namenode")
hdfs = sc._gateway.jvm.FileSystem.get(hadoop_conf)

# 设置文件路径
Path = "hdfs://namenode/" # 这是目录路径，文件路径 hdfs://namenode/data/train.tsv

效果如图

image-20240616160234928

wilinzz
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群完全分布式搭建教程-CentOS
在路上
12-27 1万+
本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。 1. 说明        本教程中电脑为8G内存，故而将使用四个节点作为集群环境，其中一个为master，3个为slaver（分别是slaver1、slaver2和slaver3master节点将仅为namenode存在，而slaver节点是da
hadoop集群搭建详细教程
TKE_Yolanda的博客
03-06 681
一.准备： 1. 安装centos7并卸载自带的OpenJDK: 1.1 通过 rpm -qa | grep java 命令查询系统自带的jdk（带箭头的2个就是系统自带的） 1.2 通过 rpm -e --nodeps+后面跟系统自带的jdk名 这个命令来删除系统自带的jdk，例如： # rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102...
Hadoop集群搭建超详细说明
nick_huangzheng的博客
09-07 4667
最近随着公司业务的发展，在一波重构中技术层面主要的目标是双中台建设，由是就有了本文。 #数据中台 ##1、环境准备 ###1.1、前置条件 ####Linuxwget #####rpm安装 下载wget的RPM包： http://mirrors.163.com/centos/6.8/os/x86_64/Packages/wget-1.12-8.el6.x86_64.rpm 执行rpm-ivhwget-1.12-8.el6.x86_64.rpm...
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)，2024年最新阿里P7大牛整理
最新发布
2301_79772893的博客
05-12 1137
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。在hadoop01上执行。
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...
CSDN云计算
03-08 4632
作者 |chen_01_c责编 |Carol来源 | CSDN 博客封图 | CSDN付费下载于视觉中国hadoop介绍Hadoop 是 Lucene 创始人 Doug Cuttin...
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3518
Hadoop集群搭建详细教程
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程服务器。 ssh root@[Your IP ...
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
基于Docker搭建Hadoop集群(2).docx
09-06
"基于Docker搭建Hadoop集群" 在本文中，我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具，而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中，我们可以更方便地管理和...
Docker搭建Hadoop集群
12-26
里面包含Hadoop2.7，jdk1.8以及写好的Dockerfile文件，还有配置文件
Hadoop全分布式集群搭建（全网最详细，保姆级教程）
m0_52931616的博客
09-10 1875
Hadoop全分布式集群搭建
Hadoop分布式集群搭建（完整版）
web15285868498的博客
06-05 740
VMware和Centos7下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117793482XShell和Xftp下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117877235安装一台虚拟机作为模板：IP地址：192.168.10.100主机名：hadoop100内存：4G硬盘：50G对安装好的VMware进行网络配置，方便虚拟机联网，本次设置选择NAT模式，需要宿主机的
Hadoop集群搭建教程
Lisam Blog
08-19 361
环境： centos 6.5  (ip：192.168.80.100、192.168.80.101) jdk 1.7 hadoop 2.8.4 ip 进程 192.168.80.100(master) namenode 192.168.80.101(slave) datanod...
Hadoop集群搭建教程（详细）
DayOneMore的博客
03-02 736
详细的参考这个： https://blog.csdn.net/fanxin_i/article/details/80425461 其中初始化hadoop 应改为下面这两行命令： bin/hadoop namenode -format hdfs namenode -format 在浏览器中输入 http://[master name]:18088 能够访问hadoop管理界面。 根据自己的配置，写后面的端口号，这个教程里是18088，有的是8088 遇到了问题 但是这时候发现，active
hadoop搭建
Aran
11-03 1341
需要的安装包： 1.jdk压缩包 2.hadoop压缩包 请前往百度云上上下载相关安装包(密码：8op1) 开始搭建hadoop集群 一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙 1.因为默认的虚拟机主机名都是ubuntu，所以为了便于虚拟机的识别，创建完成虚拟机后我们对虚拟机名进行修改，我们把用于主节点的虚拟机名称设为master(按自...
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4454
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
使用docker搭建hadoop集群
09-21
要使用Docker搭建Hadoop集群，您可以执行以下步骤： 1. 首先，您需要准备一个Docker镜像，其中包含Hadoop的安装和配置。您可以使用Dockerfile来创建自定义镜像，或者从Docker Hub上获取可用的Hadoop镜像。 2. 创建一个Docker网络，以便在Hadoop容器之间进行通信。您可以使用以下命令创建一个名为"hadoop"的网络： ``` docker network create hadoop ``` 3. 使用以下命令在Docker容器中启动Hadoop实例，并将它们连接到"hadoop"网络： ``` docker run -itd --network hadoop --name hadoop1 hadoop docker run -itd --network hadoop --name hadoop2 hadoop docker run -itd --network hadoop --name hadoop3 hadoop ``` 4. 进入每个Hadoop容器，使用以下命令配置IP地址映射： ``` docker exec -it hadoop1 bash # 编辑/etc/hosts文件，将容器的IP地址映射到相应的主机名 exit docker exec -it hadoop2 bash # 编辑/etc/hosts文件，将容器的IP地址映射到相应的主机名 exit docker exec -it hadoop3 bash # 编辑/etc/hosts文件，将容器的IP地址映射到相应的主机名 exit ``` 现在，您已经成功地使用Docker搭建了Hadoop集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值