filter
在本工程中,有如下路径的文件 in/sample.txt 内容如下
aa bb cc aa aa aa dd dd ee ee ee ee
ff aa bb zks
ee kks
ee zz zks
将包含zks的行的内容找出来
scala版本
val lines = sc.textFile("in/sample.txt").filter(x => x.contains("zks"))
lines.collect().foreach(println)
结果如下
java版本
JavaRDD<String> lines = sc.textFile("in/sample.txt");
JavaRDD<String> zksRDD = lines.filter(new Function<String, Boolean>() {
@Override
public Boolean call(String s) throws Exception {
return s.contains("zks");
}
});
//打印内容
List<String> collect = zksRDD.