hery_csnd168的博客

转载 Spark算子使用示例

1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。从小方向来说，Spark 算子大致可以分为以下三类:Value数据类型的Tran...