【大数据开发 Spark】第五篇：模拟分布式计算：Client 的计算任务 Task 交给多个 Server 处理

最新推荐文章于 2024-05-20 09:51:37 发布

超周到的程序员

最新推荐文章于 2024-05-20 09:51:37 发布

阅读量228

点赞数 3

分类专栏：大数据开发技术 # Spark 文章标签： spark big data 大数据

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_46360532/article/details/125025322

版权

大数据开发技术同时被 2 个专栏收录

16 篇文章 3 订阅

订阅专栏

5 篇文章 1 订阅

订阅专栏

前言：本文学习自尚硅谷的 Spark 教程

文章目录

- Spark 分布式计算模拟

Spark 分布式计算模拟

1 先写一个简单的 CS 例子

在这里插入图片描述

1.1 客户端 Driver

在这里插入图片描述

1.2 服务端 Executor

在这里插入图片描述

1.3 启动测试

启动服务端 Executor

在这里插入图片描述
启动客户端 Driver 发送数据

在这里插入图片描述
服务端 Executor 接受到数据

在这里插入图片描述

2 Client 向一个 Server 发送计算任务 Task

在这里插入图片描述

2.0 计算任务 Task

在这里插入图片描述

2.1 客户端 Driver

在这里插入图片描述

2.2 服务端 Executor

在这里插入图片描述

2.3 启动测试

启动服务端 Executor

在这里插入图片描述
启动客户端 Driver 发送数据

在这里插入图片描述
服务端 Executor 接受到数据

在这里插入图片描述

3 Client 向多个 Server 发送计算任务 Task

在这里插入图片描述

3.0 计算任务单元 subTask

在这里插入图片描述

也要用到之前的 Task，因为 subTask 是执行单位，而 Task 是任务单位

在这里插入图片描述

3.1 客户端 Driver

在这里插入图片描述

3.2 服务端 Executor

在这里插入图片描述

3.3 启动测试

启动两个服务端服务端 Executor、Executor2

在这里插入图片描述

启动客户端 Driver 发送数据

在这里插入图片描述

服务端 Executor、Executor2 接受到数据

在这里插入图片描述

在这里插入图片描述

超周到的程序员

关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
【大数据开发 Spark】第五篇：模拟分布式计算：Client 的计算任务 Task 交给多个 Server 处理

Spark 分布式计算模拟
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

超周到的程序员 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。