Universal Hashing全域哈希原理与python实现，减少hash冲突/碰撞！

1-hash哈希介绍

hash函数$y=h(k)$，把任意长度的输入$k$通过散列算法$h$变换成固定长度的输出$y$，该输出就是散列值¹。一种常见的hash函数是$y=H(k)=(a\cdot k+b)\mathrm{m}\mathrm{o}\mathrm{d}m$，$m$一般取素数。
设hash函数的定义域为$K$，值域为$Y$，一般来说，$|K|>|Y|$，这样hash函数容易出现碰撞，如下图，$h(k_5)=h(k_2)=h(k_7)$，$k_5,k_2,k_7$在一条链上（碰撞）：

对于hash函数，基本上都能找到一组输入，使得它们的hash值都相同，导致它们在一条链上，有时甚至会比线性查找的复杂度还要高，因为比线性查找多了hash的时间。

2-Universal hashing全域哈希法

思路：解决上述问题的一种方法就是随机。随机从一组hash函数（a family of hash functions）中选择一个。这样选的话，攻击者就没办法针对特定的hash函数构造一组输入，使得hash函数效率很低。

定义1：$\mathcal{U}$是定义域，$\mathcal{H}$是hash函数的集合，能够将$\mathcal{U}$映射到 { 0 , 1 , . . . , m − 1 } \{0, 1, ..., m-1\} {0,1,...,m−1}，即 h : U → { 0 , 1 , . . . , m − 1 } , h ∈ H h:\mathcal{U}\rightarrow\{0, 1, ..., m-1\}, h\in \mathcal{H} h:U→{0,1,...,m−1},h∈H.

定义2：如果$\forall x,y$满足$x\ne y$并且 ∣ { h ∈ H : h ( x ) = h ( y ) } ∣ = ∣ H ∣ m |\{h\in \mathcal{H}:h(x)=h(y)\}|=\frac{|\mathcal{H}|}{m} ∣{h∈H:h(x)=h(y)}∣=m∣H∣​，则称$\mathcal{H}$是全域(universal)的。

根据定义2，如果h是随机均匀地从$\mathcal{H}$中选择（注意每个输入要重新选择一个hash函数）， 那么$x$和$y$碰撞的概率是：
$$\frac{h(x)=h(y)的函数数量}{所有的函数}=\frac{\frac{|\mathcal{H}|}{m}}{|\mathcal{H}|}=\frac{1}{m}.$$

定理1：随机均匀地从$\mathcal{H}$（$\mathcal{H}$是全域的）选择$h$，如果我们现在已经把$n$个输入放入了hash表$T$中了，则再给一个输入$x$，有
$$E[hash表T中元素和x碰撞的数量]<\frac{n}{m},$$
其中$E[\cdot ]$表示期望。

[定理1的重要性] 通过证明上述定理，我们就可以说，如果存在$\mathcal{H}$是全域的，那么最终在hash表$T$中元素的分布（在平均意义上）是均匀的。

定理1的证明. 设$C_x$表示在hash表$T$中的随机元素和$x$碰撞的数量，设
$$C_{xy}=\{\begin{array}{cr}1& ifh(x)=h(y)\\ 0& ifh(x)\ne h(y)\end{array}$$
那么,
$$\begin{array}{lll}E[C_x]& =E[{\sum }_{y\in T-x}{C}_{xy}]& \\ & ={\sum }_{y\in T-x}E[C_{xy}]& 因为期望的线性性质\\ & ={\sum }_{y\in T-x}\frac{1}{m}& \\ & =(n-1)\frac{1}{m}& \\ & <\frac{n}{m}.& \end{array}$$

例子 ：如果$n=1,m=2$，则$E[C_x]<\frac{1}{2}.$

3-构造一个全域哈希$\mathcal{H}$

定理2: 按照如下四个步骤构造的$\mathcal{H}$是全域的：

1. （条件）令$m$等于一个素数；
2. （初始准备）将输入$k$写成$r+1$个数字：$k=<k_0,k_1,...,k_r>$，其中 k i ∈ { 0 , 1 , . . . , m − 1 } k_i\in\{0, 1, ..., m-1\} ki​∈{0,1,...,m−1}（等价于将$k$用$m$进制表示）；
3. （随机）随机选择一个$a=<a_0,a_1,...,a_r>$，其中$a_i\in 0,1,...,m-1$；
4. （hash函数）$h_a(k)=({\sum }_{i=0}^{i=r}{a}_i\times k_i)\mathrm{m}\mathrm{o}\mathrm{d}m$.

证明见²。

4-python实现

自己写的代码，如有错误望指正。代码链接：https://github.com/VFVrPQ/LDP/blob/master/Components/UniversalHashing.py，另有完整代码如下：

import math
import random
class UniversalHashing:
    '''
        g: a prime
        d: domain, [0, 1, ..., d-1]
        len: The maximum number of digits in g Base
        v: an input value in [0, 1, ..., d-1] 
        hash function: H_a(k) = (a(0)*k(0)+a(1)*k(1)+...+a(len-1)*k(len-1)) % g
    '''
    def __init__(self, g, d):
        self.__g = g
        assert g>=2, 'g is less than 2'
        assert self.__isPrime(g), 'g is not a prime'

        self.__d = d
        self.__len = math.ceil( math.log(d) / math.log(g)) # g进制下，最大的位数
        self.__a = self.__len*[0] # initial length
    
    # v is an input value in [0, 1, ..., d-1] 
    def hash(self, v):
        self.__randomness() # regenerate a, select H
        out = self.calc(self.__a, v)
        return self.__a, out

    # calc H_a(k) = (a(0)*k(0)+a(1)*k(1)+...+a(len-1)*k(len-1)) % g
    def calc(self, a, v):
        assert len(a)==self.__len, 'len(a)!=self.__len'
        k = self.__toBitList(v)
        out = 0
        for i in range(self.__len):
            out = (out + a[i]*k[i]) % self.__g
        return out

    def __randomness(self):
        # generate a
        for i in range(self.__len):
            self.__a[i] = random.randint(0, self.__g-1)

    def __toBitList(self, v):
        assert v>=0, 'v<0'
        if v == 0:
            return self.__len * [0]
        bitList = self.__len * [0]
        for i in range(self.__len):
            bitList[i] = v%self.__g
            v = int(v/self.__g)
        return bitList
    
    def __isPrime(self, v):
        if v<=1:
            return False
        for i in range(2, int(math.sqrt(v))+1, 1):
            if v%i==0:
                return False
        return True

# for test
if __name__ == "__main__":
    TIMES = 10
    g = 29 # prime
    d = 16 # domain
    uhash = UniversalHashing(g, d)
    H = g * [0]
    for i in range(TIMES): # random TIMES to verify
        x = random.randint(0, d-1)
        _, out = uhash.hash(x)
        H[out] += 1
    for i in range(g):
        print(i, H[i])

---

1. https://baike.baidu.com/item/Hash/390310?fr=aladdin ↩︎

2. http://cs-www.bu.edu/faculty/homer/537/talks/SarahAdelBargal_UniversalHashingnotes.pdf 或者https://download.csdn.net/download/MustImproved/12275636 ↩︎