使用Docker搭建Hadoop分布式集群

最新推荐文章于 2024-08-05 21:41:10 发布

楓葉也

最新推荐文章于 2024-08-05 21:41:10 发布

阅读量1.1k

点赞数

文章标签： docker hadoop 分布式 java

本文链接：https://blog.csdn.net/pjyex/article/details/104241614

版权

本文介绍了如何利用Docker搭建Hadoop分布式集群，参照GitHub上的kiwenlau/hadoop-cluster-docker项目。详细步骤包括理解Hadoop集群启动顺序，配置docker-compose文件，构建resourcemanager镜像，以及最后启动Hadoop集群。成功启动后，可以通过特定URL监控Namenode、History server、Datanode、Nodemanager和Resource manager的状态。

摘要由CSDN通过智能技术生成

文章目录

Hadoop分布式集群介绍

本次Hadoop搭建使用GitHub - kiwenlau/hadoop-cluster-docker: Run Hadoop Custer within Docker Containers进行。

首先需要明确Hadoop集群的启动顺序如下：

namenode -> datanode -> resourcemanager -> nodemanager -> historyserver

可使用浏览器通过如下地址监视hadoop集群的状况：

Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
History server: http://<dockerhadoop_IP_address>:8188/applicationhistory
Datanode: http://<dockerhadoop_IP_address>:9864/
Nodemanager: http://<dockerhadoop_IP_address>:8042/node
Resource manager: http://<dockerhadoop_IP_address>:8088/

准备docker-compose相关文件

准备docker-compose.yml如下所示：

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.3-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME