【Scala】MurmurHash3的使用

本文内容收集于互联网。

MurmurHash 是一种 非加密 函数的哈希函数。

参考：
*MurmurHash3_最详细的介绍
MurmurHash3原理讲解

MurmurHash

MurmurHash 是一种经过广泛测试且速度很快的非加密哈希函数。它有Austin Appleby于2008年创建，并存在多种变体，名字来自两个基本运算，即multiply和rotate（尽管该算法实际上使用shift和xor而不是rotate）。

MurmurHash3 128 位版本的速度是 MD5 的十倍。

MurmurHash通过了【卡方检验】和【雪崩测试】

什么是卡方检验？

均匀性：一般期望设计的哈希函数的哈希值均匀落入哈希空间。

将哈希空间$n$等分, 得到$p$个哈希值, 那么平均落入每个哈希子空间的哈希值是 $f_0=\frac{p}{n}$, 落入第$i$个子空间的哈希值个数是$f_i$。统计量$x^2$表示$f_i$到均匀分布的偏离度。

哈希函数均匀性可用卡方拟合优度检验来判断。

什么是雪崩测试？

这意味着输入的微小变化会导致输出发生显著变化，使其统计上看起来与随机变化没有差别。

例如：
MurmurHash3(“abd”,123)=454173339
MurmurHash3(“abe”,123)=4085872068

各类Hash算法碰撞概率

Hash算法碰撞率统计

MurmurHash3 在Scala的使用

官方文档：
MurmurHash3-scala 2.12.0

Scala实现的MurmurHash.stringHash()返回Int。（不够长，考虑guava库）

---

*官方文档：
guava-Hashing => guava-HashFuction => guava-HashCode
Guava简介：Guava是一种基于开源的Java库，Google Guava源于2007年的"Google Collections Library"。这个库是为了方便编码，并减少编码错误。这个库用于提供集合，缓存，支持原语句，并发性，常见注解，字符串处理，I/O和验证的实用方法。

使用方式：

scala/java/c++使用murmur3计算hash值保持跨语言之间一致

import com.google.common.hash.Hashing
import java.nio.charset.StandardCharsets

import scala.util.hashing.MurmurHash3
object test {
	def main(args: Array[String]): Unit = {
		val word = "hello"
		val hashCode = Hashing.murmur3_128().hashString(word,StandardCharsets.UTF_8).asLong()
		println(hashCode)

		val hashCode2 = MurmurHash3.stringHash(word).toLong
		println(hashCode2)
	}
}

输出：

-3758069500696749310
469940726