1)函数签名
def filter(f:T=>Boolean):RDD[T]
2)功能说明
接受一个返回值为布尔类型的函数作为参数。当某个RDD调用filter方法时,会对该RDD中的每一个元素应用f函数,如果返回值类型为true,则该元素会被添加到新的RDD中。
3)需求说明:创建一个RDD,过滤出对2取余等于0的数据
4)具体实现
package com.huc.Spark.value
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Test08_filter {
def main(args: Array[String]): Unit = {
//1.创建SparkConf并设置App名称
val conf: SparkConf = new SparkConf().setAppName("SparkCore").setMaster("local[*]")
//2.创建SparkContext,该对象是提交Spark App的入口
val sc: SparkContext = new SparkContext(conf)
//3.使用Scala进行spark编程
// 创建一个RDD
val rdd: RDD[Int] = sc.makeRDD(Array(1, 2, 3, 4), 2)
// 过滤出符合条件的数据
val value: RDD[Int] = rdd.filter(_ % 2 == 0)
value.collect().foreach(println)
//4.关闭连接
sc.stop()
}
}