大数据--spark生态3--RDD介绍及其算子

目录

一：RDD创建

1.1从文件系统中加载数据创建RDD

1.2通过并行集合（数组）创建RDD

二：RDD操作

2.1转换操作

2.2行动操作

2.3 惰性机制

2.4 持久化

三：rdd转换算子

3.1 value类型

3.2 key-value类型

四：rdd行动算子

---

一：RDD创建

1.1从文件系统中加载数据创建RDD

     采用textFile()方法，该方法把文件的url作为参数。这个url可以是：

• 本地文件系统的地址
• 分布式文件系统HDFS的地址

1.2通过并行集合（数组）创建RDD

    通过调用SparkContext的parallelize方法，在Driver中一个已经存在的集合（数组）上创建。

二：RDD操作

2.1转换操作

• 对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用
• 转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作的时候，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作。
• 常用的转换操作：

• map()和flatMap()区别
• groupByKey()和reduceByKey()的区别

2.2行动操作

• 动作操作彩色真正触发计算的地方。Spark程序执行到行动操作时候，才会执行真正的计算，从文件中加载数据，完成一次又一次的转换操作，最终完成动作操作得到结果。
• 常见的动作操作