![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 70
I丶Lit
这个作者很懒,什么都没留下…
展开
-
SPARK基础概念
Spark集群spark的核心模块专注于调度和管理虚拟机上分布式计算任务的执行,集群中的计算资源则交给Cluster Manager这个角色来管理。Cluster Manager一般采用Master-Slave结构。以Yarn为例,部署ResourceManager服务的节点为Master,负责集群中所有计算资源的统一管理和分配;部署NodeManager服务的节点为Slave,负责在原创 2018-01-05 19:30:01 · 302 阅读 · 0 评论 -
部署spring boot项目到spark上
先说一下开发环境大概情况:IDE:IntelliJ IDEA使用spring boot和gradle进行项目的构建jdk版本 1.8,这里注意一下,开发环境打jar包时的jdk版本要和spark配置里的jdk的版本一致。步骤1、完成coding后,把当前module打成jar包,具体可参考 这篇文章,自行修改build.gradle打包。成功后从目录build/l原创 2018-01-16 17:12:27 · 4338 阅读 · 1 评论