spark读取hdfs文件过滤临时文件 scala
spark读取hdfs中文件的时候,.tmp文件不是我们需要的,需要进行过滤import org.apache.hadoop.fs.{Path, PathFilter}/** * filter temp files in hdfs dirs * eg: 1234556.tmp */class FilterTmpPath extends PathFilter { @Override def accept(path:Path):Boolean = { val tmpS
原创
2020-05-22 11:39:51 ·
587 阅读 ·
0 评论