PySpark(二)RDD 常见算子及RDD运行model
五、RDD 常见算子
transformation: RDDA ====》 RDDB 的中间过程为transformation
例如,map是一个转换,它通过一个函数传递每个数据集元素,并返回一个表示结果的新RDD
特点:Spark中的所有转换都是惰性的,因为它们不会立即计算结果。相反,他们只记得应用于某些基础数据集的转换(例如文件)。仅当操作需要将结果返回到驱动程序时才会计算转换。这种设计使S...
原创
2019-08-20 21:15:14 ·
1337 阅读 ·
0 评论