Spark计算结果落入driver端所在机器本地磁盘
背景:工作中遇到政府项目,需要每小时、每天、每月调用政府指定接口上传数据。运维方面因为特殊原因只能开通指定服务器到政府接口的权限。
因为集群环境限制,只能将Spark任务计算的数据落到固定机器上,并在该机器进行接口调用上传数据。
我们要部署Spark这套计算框架,有多种方式,可以部署到一台计算机,也可以是多台(cluster)。
Spark部署方式可以用如下图形展示:
那么在此次项目中几种模式如何选择:
Local模式
Local模式就是运行在一台计算机上的模式。它可以通过以下集中方式设置m
原创
2021-10-11 15:32:01 ·
536 阅读 ·
0 评论