spark读取hdfs文件过滤临时文件 scala

spark读取hdfs中文件的时候,.tmp文件不是我们需要的,需要进行过滤

import org.apache.hadoop.fs.{Path, PathFilter}


/**
  * filter temp files in hdfs dirs
  * eg: 1234556.tmp
  */
class FilterTmpPath extends PathFilter {

  @Override
  def accept(path:Path):Boolean = {
    val tmpStr = path.getName()
    if(tmpStr.endsWith(".tmp")) {
      return false
    }
    return true
  }
}

 

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读