本文详细介绍了Spark中的RDD（弹性分布式数据集）的创建，包括从文件系统和并行集合创建。接着探讨了RDD的操作，特别是转换和行动操作，以及它们的惰性机制和持久化。此外，文章深入讨论了各种转换算子，如map、flatMap、filter和reduceByKey，以及行动算子如reduce、collect和save。通过对RDD的深入理解，有助于提升Spark应用的性能和效率。
目录
一：RDD创建
1.1从文件系统中加载数据创建RDD
采用textFile()方法，该方法把文件的url作为参数。这个url可以是：
- 本地文件系统的地址
- 分布式文件系统HDFS的地址
1.2通过并行集合（数组）创建RDD
通过调用SparkContext的parallelize方法，在Driver中一个已经存在的集合（数组）上创建。
二：RDD操作
2.1转换操作
- 对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用
- 转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作的时候，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作。
- 常用的转换操作：
- map()和flatMap()区别
- groupByKey()和reduceByKey()的区别
2.2行动操作
- 动作操作彩色真正触发计算的地方。Spark程序执行到行动操作时候，才会执行真正的计算，从文件中加载数据，完成一次又一次的转换操作，最终完成动作操作得到结果。
- 常见的动作操作
最低0.47元/天 解锁文章
529
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
