docker下，极速搭建spark集群(含hdfs集群)(1)

最新推荐文章于 2024-05-13 17:04:22 发布
最新推荐文章于 2024-05-13 17:04:22 发布
阅读量668 收藏 16
点赞数 22
分类专栏： 程序员 文章标签： docker spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84048338/article/details/137745421
版权
本文详细介绍了如何在CentOS7环境下利用docker快速搭建spark和hdfs集群，包括集群环境配置、数据准备、实战WordCount操作，以及如何提交java版spark应用。
摘要由CSDN通过智能技术生成

以下是本次实战涉及的版本号：

  1. 操作系统：CentOS7

  2. hadoop：2.8

  3. spark：2.3

  4. docker：17.03.2-ce

  5. docker-compose：1.23.2

极速搭建spark集群(含hdfs集群)

  1. 在CentOS7机器上建一个文件夹(例如test)，进入此文件夹；

  2. 在新建的文件夹内执行如下命令，即可搭建好spark和hdfs集群：

wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/docker-compose.yml \

&& wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/hadoop.env \

&& docker-compose up -d

没错，执行上面的命令就够了，只要静候命令执行完成，整个spark和hdfs集群环境就搭建好了；

查看环境

接下来检查一下整个环境是否正常，假设当前CentOS电脑的IP地址是192.168.1.101

  1. 用浏览器查看hdfs，如下图，可见有三个DataNode，地址是：http://192.168.1.101:50070

在这里插入图片描述

  1. 用浏览器查看spark，如下图，可见只有一个worker，地址是：http://192.168.1.101:8080

在这里插入图片描述

注意：spark的worker数量，以及worker内存的分配，都可以通过修改docker-compose.yml文件来调整；

准备实战数据

  1. 登录CentOS7电脑，在刚才执行命令的目录下，发现多了几个文件夹，如下所示，注意input_files和jars这两个，稍后会用到：

最低0.47元/天 解锁文章
2401_84048338
关注
专栏目录
Docker 搭建Spark集群
dw147258dw的专栏
04-10 1023
jdk 从oracle官网进行下载，复制相应下载链接.我是在本地下载后上传到linux上，再docker cp到容器里.在linux上命令如下。生成新镜像，此处取名为my-ssh-centos7。配置hdfs-site.xml,设置副本数和NameNode、DataNode的目录路径。参考csdn等文章，利用docker安装spark。用虚拟化容器模拟出三个节点。再度进入容器后，执行下列操作，设置ssh免密登录。配置mapred-site.xml。配置yarn-site.xml。进入容器后，进行下列操作。
docker使用案例（利用docker搭建spark集群）
热门推荐
一个不靠谱的程序员
04-21 1万+
利用docker搭建spark集群这里是docker的文档中心，因此就忽略spark的安装过程。我们这里讲解如何使用Dockerfile生成spark集群环境。 关于spark集群的搭建会在爬虫的数据分析章节来讲述。 笔者使用的是https://github.com/SingularitiesCR/spark-docker 来讲述如何使用docker安装spark集群。1.利用git下载该项目。
20-多对一的处理
最新发布
2401_84814410的博客
05-13 486
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
基于docker的Hadoop-spark集群安装（centos 7系统）
Destiny_where的博客
01-14 531
上传文件到hdfs和使用spark访问hdfs，可参考大佬的博客：https://zhuanlan.zhihu.com/p/421375012#:~:text=resourcemanager%0AStarting%20nodemanagers-,%E5%90%91%20HDFS%20%E5%86%99%E5%85%A5%E6%96%87%E4%BB%B6,-%E4%BD%BF%E7%94%A8%E5%91%BD%E4%BB%A4%E5%B0%86。
从0开始使用Docker搭建Spark集群
hellojoy的博客
06-18 2802
https://www.jianshu.com/p/ee210190224f?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 最近在学习大数据技术，朋友叫我直接学习Spark，英雄不问出处，菜鸟不问对错，于是我就开始了Spark学习。 为什...
使用Docker安装Spark集群(带有HDFS)
Sicilly的博客
12-16 4921
本实验在CentOS 7中完成 第一部分：安装Docker 这一部分是安装Docker，如果机器中已经安装过Docker，可以直接跳过 [root@VM-48-22-centos ~]# systemctl stop firewalld [root@VM-48-22-centos ~]# systemctl disable firewalld [root@VM-48-22-centos ~]# systemctl status firewalld [root@VM-48-22-centos ~]# sete
docker下，极速搭建spark集群(含hdfs集群)，面试真题解析
m0_63174420的博客
11-04 1510
[root@hedy ~]# docker exec -it master spark-shell --executor-memory 512M --total-executor-cores 2 2019-02-09 17:13:44 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable Setting de
Windows家庭版下基于Docker的hadoop、Spark集群搭建
crhcyq的博客
11-27 1140
windows下基于Docker的Spark集群搭建 目录windows下基于Docker的Spark集群搭建1、实验目的2、实验平台3、实验内容和要求3.1 docker环境安装3.1.1 开启Hyper-V3.2 根据已有的docker文件创建镜像3.3 基于docker创建spark集群总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释
基于 docker-desktop的spark-hadoop 分布式集群搭建（2022）
m0_46526335的博客
10-04 1941
基于学长们的基础，加以修改，成功完成2022年版本docker的spark-hadoop 分布式集群搭建，基于spark3.3版本
docker6_搭建spark集群
qq_45972323的博客
05-26 824
docker
docker-compose搭建spark集群，包括hdfs集群
dw147258dw的专栏
03-15 248
我们经常会遇到这样一个情况，想搭建一个简单的大数据环境用来运行一些小工程小项目或者仅仅是用来学习和完成作业，然而spark集群和hdfs集群环境会消耗很多时间和精力，我们应该关注的是spark应用的开发，快速搭建整个环境，从而尽快投入编码和调试，今天我们就使用docker-compose，极速搭建和体验spark和hdfs的集群环境。先创建一个文件夹用来存放配置文件，集群的安装路径也会是这个文件夹，所以想好放在哪里比较好，我的路径是：/home/sparkcluster_hdfs。
docker-compose快速搭建hadoop
blues的博客
05-16 1597
1、docker-compose.yml version: "3" services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: namenode restart: always ports: - 9870:9870 - 9000:9000 volumes: - ./hadoop/dfs/name:/ha
Win11 Docker 快速部署spark（快速部署pySpark 、使用Docker compose部署spark）
weixin_52785140的博客
10-06 2121
构建镜像完成后，还需要修改 docker-compose.yml 文件，使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群，同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD，在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信，首先需要启动 ssh 服务，然后依次启动 HDFS 和 YARN 集群。：挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share；
docker-compose 安装hadoop集群 (非高可用)—— 筑梦之路
筑梦之路
06-05 687
如果是不同的compose文件生成的容器，如果不指定一样的network，它们直接是不能通过主机名访问的。只能决定容器的启动先后顺序，无法决定容器里服务的启动顺序，作用不大，所以在上面。函数来真正控制服务的启动顺序。
数据分析：大数据环境安装（docker+docker-compose+spark+hadoop+hive）
Derrick
05-22 2037
大数据环境安装 VirtualBox虚拟机下载地址：https://www.virtualbox.org/wiki/Downloads Vagrant下载地址：https://www.vagrantup.com/downloads.html 图形界面操作步骤可参考：http://drupalchina.cn/book/export/html/6389 ubantu：https://ubuntu.com/#download 一、VirtualBox创建虚拟机（其他步骤为默认） 修改好需要存放的地址 将内
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7885
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
docker下，极速搭建spark集群(含hdfs集群)
程序员欣宸的博客
02-10 1万+
搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境；
Ubuntu Docker快速搭建Hadoop集群
"使用Ubuntu通过Docker搭建Hadoop集群环境的步骤和方法，包括Docker的安装、配置以及Hadoop集群的构建。" 在Ubuntu系统中搭建Hadoop集群通常是一项复杂的工作，因为它涉及到多台机器之间的网络配置和软件安装。然而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值