位图
所谓位图,就是用每一位来存放某种状态,适用于海量数据,数据无重复的场景。通常是用来判断某个数据存不存在的。
给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中。
- 遍历,时间复杂度O(N)
- 排序(O(NlogN)),利用二分查找: logN
- 位图解决
数据是否在给定的整形数据中,结果是在或者不在,刚好是两种状态,那么可以使用一个二进制比特位来代表数据是否存在的信息,如果二进制比特位为1,代表存在,为0代表不存在。比如
位图的实现
class BitMap
{
public:
BitMap(size_t range)
{
_bit.resize(range / 32 + 1);
}
//查询:Test
bool Test(size_t n)
{
//整数位置
int idx = n / 32;
int bitIdx = n % 32;
//获取对应bit位二进制值
if ((_bit[idx] >> bitIdx) & 1)
return true;
else
return false;
}
//存储: Set
void Set(size_t n)
{
int idx = n / 32;
int bitIdx = n % 32;
_bit[idx] |= (1 << bitIdx);
}
//删除: Reset
void Reset(size_t n)
{
int idx = n / 32;
int bitIdx = n % 32;
_bit[idx] &= ~(1 << bitIdx);
}
private:
vector<int> _bit;
};
位图的应用
- 快速查找某个数据是否在一个集合中
- 排序
- 求两个集合的交集、并集等
- 操作系统中磁盘块标记
布隆过滤器
将哈希表和位图两者的功能进行结合,即布隆过滤器,不仅不会造成空间浪费,也可以更好的处理哈希冲突。
一个给定的内容,分成三份存储。
布隆过滤器如果说某个元素不存在时,一定不存在,若是该元素存在时也可能不存在,因为哈希函数存在一定的误判。
布隆过滤器不能够直接删除,因为删除一个元素,可能回影响其他元素。
布隆过滤器的实现
template <class T, class HF1, class HF2, class HF3>
class BloomFilter
{
public:
// bit位数量 = 哈希函数个数 * 数据量 / ln2
BloomFilter(size_t num)
:_bit(5 * num)
, _bitCount(5 * num)
{}
// Set
void Set(const T& value)
{
HF1 hf1;
HF2 hf2;
HF3 hf3;
//计算哈希值
size_t hashCode1 = hf1(value);
size_t hashCode2 = hf2(value);
size_t hashCode3 = hf3(value);
_bit.Set(hashCode1 % _bitCount);
_bit.Set(hashCode2 % _bitCount);
_bit.Set(hashCode3 % _bitCount);
}
// Test即查找:分别计算每个哈希值对应的位置存储是否为零,只有要一个为零,则表示不存在
bool Test(const T& value)
{
HF1 hf1;
size_t hashCode1 = hf1(value);
if (!_bit.Test(hashCode1 % _bitCount))
return false;
HF2 hf2;
size_t hashCode2 = hf2(value);
if (!_bit.Test(hashCode2 % _bitCount))
return false;
HF3 hf3;
size_t hashCode3 = hf3(value);
if (!_bit.Test(hashCode3 % _bitCount))
return false;
//返回true: 不一定正确
return true;
}
private:
BitMap _bit;
size_t _bitCount;
};
struct strToInt1
{
size_t operator()(const string& str)
{
size_t hash = 0;
for (auto& ch : str)
{
hash = hash * 131 + ch;
}
return hash;
}
};
struct strToInt2
{
size_t operator()(const string& str)
{
size_t hash = 0;
for (auto& ch : str)
{
hash = hash * 65599 + ch;
}
return hash;
}
};
struct strToInt3
{
size_t operator()(const string& str)
{
size_t hash = 0;
size_t magic = 63689;
for (auto& ch : str)
{
hash = hash * magic + ch;
magic *= 378551;
}
return hash;
}
};
布隆过滤器删除
布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。
布隆过滤器优点
- 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数,一般比较小),与数据量大小无关
- 哈希函数相互之间没有关系,方便硬件并行运算
- 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势
- 在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势
- 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
- 使用同一组散列函数的布隆过滤器可以进行交、并、差运算
布隆过滤器缺陷
- 有误判率,即存在假阳性(False Position),即不能准确判断元素是否在集合中(补救方法:再建立一个白名单,存储可能会误判的数据)
- 不能获取元素本身
- 一般情况下不能从布隆过滤器中删除元素
- 如果采用计数方式删除,可能会存在计数回绕问题
哈希切割
给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址? 与上题条件相同,如何找到top K的IP?如何直接用Linux系统命令实现?