转换操作(Transformation)和行为操作(Action)
1.转换操作
- filter
- map():map接收一个函数作为参数,并将RDD中的所有元素都执行这个函数,然后将对应的执行结果存放在RDD中。但是实际上,map()并不执行实际的行动。代码如下:
scala> val inputRDD = sc.parallelize(List(1,2,3,4))
inputRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[11] at parallelize at <console>:24
scala> inputRDD.map(x => x*x)
res12: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[12] at map at <console>:27
scala> inputRDD.map(x => x*x).foreach(println) //本条语句执行完全没有效果--->间接证明map只是一个Transformation操作
scala>
2.行为操作