功能:过滤想要的数据进行保留
rdd.filter(func)
布尔型,传入一个参数进来随意类型,返回值必须是Ture或者flase
返回ture代表数据保留,返回flase表示数据丢弃
#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5,6,7,8,9,10])
#对RDD数据进行过滤
rdd2 = rdd.filter(lambda num: num % 2 == 0)
print(rdd2.collect())
功能:过滤想要的数据进行保留
rdd.filter(func)
布尔型,传入一个参数进来随意类型,返回值必须是Ture或者flase
返回ture代表数据保留,返回flase表示数据丢弃
#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5,6,7,8,9,10])
#对RDD数据进行过滤
rdd2 = rdd.filter(lambda num: num % 2 == 0)
print(rdd2.collect())