bloom filter误报率为0的错误分析

接上一篇文章“针对pcap文件格式的源ip地址、目的ip地址信息的读取”，我写了个应用bloom filter的程序读取380多万的数据集的源ip地址，将数据集的90%作为训练集进行滤波操作，取数据集的后10%作为测试集计算误报率，选取的m值为8388608，得到的误报率居然是0.0。正常来说，对于340多万的训练集取800多万的m值是不可能得到误报率为0。以下是我一开始误报率为0的代码：
ef bloom_filter():
global timeslot
global bilv
global start
global user_slots
# 修改文件路径filepath
file = open(‘C:/Users/Documents/Tencent Files/2429185651/FileRecv/t0001’, ‘rb’)
data = file.read() # read函数返回读取的字节
lst = [0 for x in range(0, 8388608)]
lst1 = [0 for x in range(0, 3420885)]
i = 24
j = 40
k = 54
total = 0
total1 = 0 # 误报次数
bilv = 1.0
while i < len(data): # python区间左闭右开
length = struct.unpack(‘I’, data[i + 8:i + 12])[0] # 24到35
type = data[j + 12:j + 14] # 52到53
if type[0] == 8 and type[1] == 0: # 66到73
sip = str(struct.unpack(‘B’, data[k + 12:k + 13])[0]) + str( # 源ip地址
struct.unpack(‘B’, data[k + 13:k + 14])[0]) +
str(struct.unpack(‘B’, data[k + 14:k + 15])[0]) + str(
struct.unpack(‘B’, data[k + 15:k + 16])[0])
i = i + length + 16
j = j + length + 16
k = k + length + 16
key = int(sip) + 1

    if total < 3420885:
        lst1[total] = key
        lst[mmh3.hash(str(key), 5143277, signed=False) % 8388608] = 1
        lst[mmh3.hash(str(key), 5059771, signed=False) % 8388608] = 1

    elif total >= 3420885:
        if lst[(mmh3.hash(str(key), 5143277, signed=False) % 8388608)] == 1 and \
               lst[ (mmh3.hash(str(key), 5059771, signed=False) % 8388608) ]== 1:
            for key1 in lst1:
                if key1 == key:
                    total1 = total1 + 1
                    break

    total = total + 1
bilv = float(total1) / float(3800985 - 3420885)
print(bilv)
file.close()

if name == ‘main’:
bloom_filter()

以下是我对误报率为0的分析:
首先，universial hash我是用了mmh3模块的hash函数，这一块是不可能出问题；那有没有可能是因为我只用了两个哈希函数导致的呢？我将程序改为三个、四个哈希函数，报错率依然为0；最后发现，我所解析的380万数据集有大量重复的源ip数据，这是问题关键所在。
于是，对380多万数据集进行过滤，注意两个点：
1、不要对每一个ip遍历查询是否与之前的ip相同，这样时间代价过大，我上面的代码在比较的时候也犯了这个错误。可以再利用bloom filter思想来对每一个ip判断是否与ip值相同
2、如果像我一样是用mmh3.hash（）%x来生成源ip的查询函数，x值尽量取大一点，你可以尝试着取不同的x值观察你所过滤后得到的ip个数，你会发现：x越大，得到的ip个数越多，但随着x的增大，所得到的ip个数增长的速度越小。这个很好理解，因为mmh3.hash返回的是一个32位的二进制数，而我是采取余的方法生成universial hash，x越大，取相同余数的概率越小。换句话说，x越大，你所滤掉的有用的ip越少。
经过过滤，380多万的数据集只有4万多源ip是不重复的，而我一开始的代码的m值为800多万，这就难怪误报率为0.0了。
附上我改进后的bloom filter 代码
import datetime
import struct
import os
import time
import mmh3

def bloom_filter():
global timeslot, sip
global bilv
global start
global user_slots
# 修改文件路径filepath
file = open(‘C:/Users/hp/Documents/Tencent Files/2429185651/FileRecv/t0001’, ‘rb’)
data = file.read() # read函数返回读取的字节
lst = [0 for x in range(0, 1048576)]
lst1 = [0 for x in range(0, 41000)] # 存放过滤数据集
lst2 = [0 for x in range(0, 65536)] # bloom filter的m值设置为65536
i = 24
j = 40
k = 54
total = 0 # 数据个数
total1 = 0 # 误报次数
bilv = 1.0
while i < len(data): # python区间左闭右开
length = struct.unpack(‘I’, data[i + 8:i + 12])[0] # 24到35
type = data[j + 12:j + 14] # 52到53
if type[0] == 8 and type[1] == 0: # 66到73
sip = str(struct.unpack(‘I’, data[k + 12:k + 16])[0])
i = i + length + 16
j = j + length + 16
k = k + length + 16
if lst[(mmh3.hash(sip, 2049161, signed=False) + 1) % 1048576] == 1:
continue
else:
lst1[total] = sip
lst[(mmh3.hash(sip, 2049161, signed=False) + 1) % 1048576] = 1
total = total + 1
file.close()

for index in range(0, 40366):
    if index <= 36329:
        lst2[(mmh3.hash(lst1[index], 2077841) + 1) % 65536] = 1
        lst2[(mmh3.hash(lst1[index], 1136939) + 1) % 65536] = 1
    else:
        if  lst2[(mmh3.hash(lst1[index], 2077841) + 1) % 65536] == 1 and \
                lst2[(mmh3.hash(lst1[index], 1136939) + 1) % 65536] == 1:
            total1=total1+1
bilv=float(total1)/float(36329-4037)
print("误报率为")
print(bilv)

if name == ‘main’:
bloom_filter()
得到误报率为
0.055648457822370864，这是个正常的数值。想体会更多的朋友可以尝试着取不同的universial hash 个数，取不同的m值，来观察误报率的大小变化规律