一、filter
对元素进行过滤,对每个元素应用指定函数,返回值为true的元素保留在新的RDD中
案例:
在项目中创建src同级目录in,并在此目录中创建sample.txt文件
sample.txt文件内容如下:
aa bb cc aa aa aa dd dd ee ee ee ee
ff aa bb zks
ee kks
ee zz zks
scala版本
//输出包含"zks"的行的内容
val lines = sc.textFile("in/sample.txt").filter(x=>x.contains("zks"))
lines.collect.foreach(println)
Java版本
JavaRDD<String> lines = sc.textFile("in/sample.txt");
JavaRDD<String> filterRdd = lines.filter(new Function<String, Boolean>() {
@Override
public Boolean call(String v1) throws Exception {
return v1.contains("zks");
}
});
List<String