Scala将文件转成MD5(本地和hdfs)

@羲凡——只为了更好的活着

Scala将文件转成MD5(本地和hdfs)

在最近的一个业务中需要将处理好的文件生成MD5，供下一个服务做唯一性校验。在网上找到了篇博客非常有用，我稍微简化了一下，拿走不谢。
如果查看原博主文章点这里 https://blog.csdn.net/cjuexuan/article/details/50901244 尊重并感谢原博主。下面字节上代码：

package csdn

import java.io.{File, FileInputStream}
import org.apache.commons.codec.digest.DigestUtils
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path}
import scala.util.{Failure, Success, Try}

object SparkFileToMD5 {
  def main(args: Array[String]): Unit = {
    //hdfs上的文件
    val path = "/aarontest/data/oozie/sparkshell/wc.txt"
    //本地相同文件
    val file = "D:\\AaronProject\\SparkTest227\\data\\wc.txt"
    //将hdfs上文件转化成MD5
    def getHdfsFileMd5(path: String): String = {
      val hdfs: FileSystem = FileSystem.get(new Configuration())
      val in: FSDataInputStream = hdfs.open(new Path(path))
      Try {
        DigestUtils.md5Hex(in)
      } match {
        case Success(s) ⇒ in.close(); hdfs.close(); s
        case Failure(e) ⇒ in.close(); hdfs.close(); e.getMessage
      }
    }
    //将本地文件转化成MD5
    def getLocalFileMd5(file: String): String = {
      val in = new FileInputStream((new File(file)))
      Try {
        DigestUtils.md5Hex(in)
      } match {
        case Success(s) ⇒ in.close(); s
        case Failure(e) ⇒ in.close(); e.getMessage
      }
    }
    println("hdfs上的文件: " + getHdfsFileMd5(path))
    println("本地相同文件: " + getLocalFileMd5(file))
  }
}

结果展示：

hdfs上的文件: 88988f8d939db7005d324cdd1f93d79f
本地相同文件: 88988f8d939db7005d324cdd1f93d79f

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流