spark
sinat_37304083
技术中的小菜鸡,球场上的战斗机
展开
-
Spark 相关概念介绍、架构原理、作业执行流程简介
这篇文章主要介绍 spark 的相关名词概念,和作业的执行流程,任务分配,希望通过这篇文章可以帮助大家对 spark 有一个更深层次的的理解。文章出处:点击打开链接名词解释:1. Standalone模式下存在的角色。 Client:客户端进程,负责提交作业到Master Master:Standalone模式中主控节点,负责接收client提交的作业,管理work节点的资源,并...转载 2018-03-21 11:01:52 · 402 阅读 · 0 评论 -
(Python版本)Spark RDD 的Transformation与Action的常用功能总结
本文主要演示如何通过Python对Spark的RDD进行编程,只列出了一些常用的RDD操作接口,完整的功能,请参考官方文档Transformation 操作 map : map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 样例:>>> templist=[1,2,3,4,...原创 2018-03-28 14:09:13 · 577 阅读 · 1 评论