一台阿里云主机，实现docker集群和外网通讯，如何搭建完全分布式Hadoop集群

最新推荐文章于 2024-04-28 11:54:29 发布
原创 最新推荐文章于 2024-04-28 11:54:29 发布 · 置顶 · 2w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#iptables #docker #阿里云 #hadoop #分布式集群

该博客详细介绍了如何在阿里云主机上利用Docker创建虚拟网络，并通过iptables配置路由，实现容器内的分布式Hadoop集群对外部网络的访问。首先，安装Docker并创建自定义虚拟网络，接着启动多个CentOS8容器，并在容器中部署Hadoop集群。然后，通过iptables设置端口转发，使得外部可以通过阿里云主机的公网IP访问到容器内的Hadoop NameNode服务。

实现原理：一台阿里云主机+docker+iptables

网络拓扑图

在这里插入图片描述

操作步驟如下：
  1. 安裝docker，详情请自行百度
  2. 安装好之后你可以在云主机上键入ifconfig查看，会发现多了一个docker0的虚拟网卡，这是安装docker之后默认创建的，当然我们也可以自己创建一个虚拟网络
  3. 创建自己的虚拟网络，在阿里云主机上键入：docker network create dockerNetBridge
  4. 再次在阿里云主机上键入：ifconfig发现多了一个新的虚拟网卡，这个新网卡就是我们创建的虚拟网络dockerNetBridge的网卡
    在这里插入图片描述
  5. 我们可以在阿里云主机上键入：docker network ls
    在这里插入图片描述
    发现网卡的名字就是br-NETWORK ID
  6. 然后我们选定镜像启动几个容器实例，这里我用的镜像是cen
最低0.47元/天 解锁文章
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 1万+
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
使用Idea连接阿里云搭建的Hadoop集群
qq_44927477的博客
08-08 687
通过阿里云内网搭建Hadoop集群后，使用Idea无法进行上传下载操作，在安全组中开放相应端口仍然无法解决，因此更改hosts映射，换为外网搭建集群，使用Idea正常访问
在阿里云服务器上利用 Docker 搭建 Hadoop 集群
01-07
Docker 安装与配置 安装 Docker（摘自 Docker 官方文档） 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg-agent \ software-properties-common 添加 Docker 官方 GPG Key$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sud
阿里云搭建hadoop集群服务器，内网、外网访问问题（详解。。。）
weixin_33906657的博客
12-06 2062
　　这个问题花费了我将近两天的时间，经过多次试错和尝试，现在想分享给大家来解决此问题避免大家入坑，以前都是在局域网上搭建的hadoop集群，并且是局域网访问的，没遇见此问题。 因为阿里云上搭建的hadoop集群，需要配置映射集群经过内网访问，也就是局域网的ip地址。 　　如果配置为公网IP地址，就会出现集群启动不了，namenode和secondarynamenode启动不了，如果将主机的映射...
内网搭建hadoop集群外网访问
qq_32603475的博客
10-11 3700
dfs.client.use.datanode.hostname 当hadoop集群使用内网搭建，使用外网访问hadoop，上次或者下载文件时，是没办法直接访问datanode。 解决方式： 第一步：在开发机器上的hosts中做datanode的ip映射 第二步：在hdfs-site.xml配置 <property> <name>dfs.client.u...
Hadoop分布式集群搭建完整版（持续更新中）
mmdewhite的博客
11-09 2901
Hadoop集群的搭建，从零到一
【Docker】Docker安装Hadoop分布式集群
weixin_46429290的博客
04-06 3192
hadoop目录安装在：/usr/local/hadoop-2.7.0/etc/hadoop。访问Hadoop102:9870，查看是否能够看到hdfs界面。访问hadoop103:8088，查看能够看到yarn界面。在yarn上可以看到执行情况。
Docker + Hadoop 搭建完全分布式
最新发布
2401_84413092的博客
04-28 739
开发工具安装。
利用docker搭建Hadoop集群.zip
11-19
阿里云ubuntu16.04基于docker搭建hadoop详细操作步骤......里面都是详细的脚本文件，对照着我的博客做应该是没有问题的.
centos docker安装
weixin_50644630的博客
10-18 227
使用官方安装脚本自动安装 安装命令： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 也可以使用国内 daocloud 一键安装命令： curl -sSL https://get.daocloud.io/docker | sh 手动安装 $ sudo yum remove docker \ docker-client \ docker-cl
Docker搭建Hadoop集群
12-26
里面包含Hadoop2.7，jdk1.8以及写好的Dockerfile文件，还有配置文件
阿里云网络拓扑图
07-26
阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图阿里云网络拓扑图
docker搭建hadoop和hive集群
qq837993702的博客
02-02 4357
Dockfile文件的内容解释：基于centos镜像，生成带有spenssh-server、openssh-clients的镜像，用户为root，密码为a123456，镜像维护者（作者）为hadoop。因为集群的服务器之间需要通信，而且每次虚拟机给集群分配的ip地址都不一样，所以需要创建网桥，给每台服务器分配固定的ip映射，这样就可以通过使用服务器名进行通信了，而且ip地址也不会变动。MAINTAINER+空格+作者的信息，用于指定镜像作者的信息，我的用户名是hadoop，改成你自己的。
Docker容器搭建Hadoop集群(hadoop-3.1.3)
2202_75688394的博客
04-20 3559
Docker容器环境下搭建Hadoop集群（完全分布式） hadoop版本为hadoop-3.1.3
【服务器】（二）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hadoop安装【图文附资源】（双系统通用）
系'辞的博客
03-20 587
鸣谢——主要参考： 1. 两台配置CentOS 7.3的阿里云ECS服务器 2.使用两台ECS服务器搭建“Cluster mode”的Hadoop集群环境 正文开始，前置环节： 一、【服务器】阿里云ECS上搭建Hadoop集群环境——设置免密码ssh登陆 二、【阿里云】Ubuntu系统安装大数据环境jdk1.7.0 Hadoop(伪分布式)集群环境搭建： 【注】：无特殊说明时，三台机器的操作是一致的。 【注】：无特殊说明时，三台机器的操作是一致的。 【注】：无特殊说明时，三台机器的操作是一致的。 1. 系
nacos使用阿里云服务器搭建集群遇到的坑
qq_35731738的博客
08-24 2374
1、首先已经搭建nacos集群，通过各自的ip+端口可以正常访问，使用nginx也可以正常访问 2、出现的问题，在服务进行注册的时候，有时候可以连接，有时候不能连接，或者一个服务可以 连接，或者出现有不能连接的服务， nacos集群服务器 123.57.61.101:8848 123.57.61.102:8848 123.57.61.103:8848 通过nginx代理访问nacos集群 cloud: na...
Docker——docker网络详解
weixin_38044888的博客
08-07 707
文章目录一、Docker原生网络1 bridge网桥模式2 host模式3 none模式4 container模式二、Docker自定义网络三、Docker容器间通信1 基于ip2 基于内部dns四、Docker跨主机的容器网络 一、Docker原生网络 Docker作为目前最火的轻量级容器技术，有很多令人称道的功能，如Docker的镜像管理。然而，Docker同样有着很多不完善的地方，网络方面就...
基于阿里云服务器搭建hadoop集群：HDFS的namenode WEB访问9870端口打不开解决方法
qq_47994979的博客
07-13 5587
基于阿里云服务器搭建hadoop集群：HDFS的namenode WEB访问9870端口打不开解决方法 以下是基于我所面临问题的解决办法。 1、在本地的c:windows/system32/dirvers/hosts文件中添加映射关系： 公网ip+空格+映射名称。 2、点击远程连接，进入之后创建自己的用户并赋予root权限，设置用户密码。 在/etc/hosts里修改映射关系 这一步非常关键！一定不能填错IP地址。（如果是本地的话则没有这个限制）云服务器一般会有公网和内网两个IP。首先在master上hos
使用Docker快速搭建Hadoop分布式集群实战指南
然而，搭建和配置Hadoop集群可能是一项复杂的工作，尤其是对新手来说。Docker的引入为简化这个过程提供了可能。通过在容器中运行Hadoop服务，我们可以快速、可重复地创建和管理分布式环境。以下是如何使用Docker搭建...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值