spark学习
前言
RDD指令一大把,如果长时间不用的话,很容易就会忘了。因此本文按照一定的使用逻辑将spark RDD的常用指令整理了一下,如果以后忘了的时候,可以快速检索和查阅相关指令。
一、spark RDD分类
spark RDD可以分为一下两类:
- 单元素RDD,即RDD里面只包含了一个元素,例如RDD([0,1,2,3,4,5])
- 键值对RDD,即RDD里每个元素都是由key:value构成的,例如RDD([(a:1),(b,2),(c:3)])
每种类型都有他们独立的指令集,下边我们分类整理两种类型的指令集,以及他们相互转换的方式。
二、单元素RDD常用指令
三:键值对RDD常用指令
总结
本文对RDD常用操作按照一定逻辑进行划分,构造索引脑图,供后续快速检索和应用。