45 位图:如何实现网页爬虫中的URL去重功能
布隆过滤器:
多个哈希函数,多个哈希值,映射到二进制向量上;
存在判断;多个哈希值都存在的话就认为存在,有误判的可能
存在可能会有误判;不存在不会有误判
public class BitMap { // Java中char类型占16bit,也即是2个字节
private char[] bytes;
private int nbits;
public BitMap(int nbits) {
this.nbits = nbits;
this.bytes = new char.
原创
2021-04-05 16:58:40 ·
130 阅读 ·
0 评论