SparkRDD算子--filter算子

语法

val newRdd = oldRdd.filter(func)

源码

def filter(f : scala.Function1[T, scala.Boolean]) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ }

作用

过滤。返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // filter算子
        val listRdd: RDD[Int] = sc.makeRDD(1 to 10)

        val filterRdd = listRdd.filter(_ % 02 == 0)

        filterRdd.collect().foreach(println)
    }
}

示意图