Spark编程指南入门之Java篇二-基本操作

4. RDD的操作

4.1 基本操作

RDD有2种类型的操作，一种是转换transformations，它基于一个存在的数据集创建出一个新的数据集；另一种是行动actions，它通过对一个存在的数据集进行运算得出结果。例如，map方法是转换操作，它将数据集的每一个元素按指定的函数转换为一个新的RDD；reduce方法是行动操作，它将数据集的所有元素按指定的函数进行聚合运算得出结果给驱动节点。Spark的所有转换操作都是延时加载执行的，当需要执行行动操作返回结果时才会加载执行，这种设计让Spark的运算更加高效。例如：

distData.map(a -> {
	System.out.println(a);
	return (a + 1);
});

运行上述代码后控制台是没有输出的，因为map方法实际是没有执行的。如果结合reduce使用的话就会被执行，例如以下例子，控制台输出1 2 3 4 5。

distData.map(a -> {
	System.out.println(a);
	return (a + 1);
}).reduce((a, b) -> (a + b));

默认地，每个转换的RDD在执行action操作时都会重新计算，不过可以使用persist或cache方法把RDD持久化到内存以便下次使用而不需要重新运算创建；Spark也支持将RDD持久化到磁盘，或在多个节点上复制。例如下面代码把map的结果持久化到内存：