hdfs 小文件处理

hdfs小文件处理
spark 采用 Coalesce 进行合并小文件

/**
获取文件目录  
获取每个文件的大小
遍历相加
size 根据size （一般设置 100m）小于等于128 得到要处理的数
*/
def getCoalesce(fileSystem: FileSystem, filePath: String, size: Int): Int = {

    var length = 0l
    fileSystem.globStatus(new Path(filePath)).map(x=>{
      length+=x.getLen
    })
    (length / 1024 / 1024 / size).toInt + 1
  }

spark.sparkContext.textFile(inputPath).coalesce(getCoalesce(fileSystem,inputPath,100))