如何从存放在A和B中的一亿条URL中找出A中有而B中没有的URL?
布隆过滤器应该以一种比较好的解决方案,而且只用比较一次,查找效率很高。从存储空间上来讲,如果用哈希表,假定网址的平均长度为一百个字符,那么1一亿 个url大概需要20g存储空间。哈希表的存储效率一般只有 50%,所以实际存储空间大概需要40g。布隆过滤器只需要哈希表 1/8 到 1/4 的大小就能解决同样的问题。也就是需要大概10g以下的空间,也是比较理想的。当然也有麻烦的地方就是有可能不是100%准确。
如何从存放在A和B中的一亿条URL中找出A中有而B中没有的URL?
布隆过滤器应该以一种比较好的解决方案,而且只用比较一次,查找效率很高。从存储空间上来讲,如果用哈希表,假定网址的平均长度为一百个字符,那么1一亿 个url大概需要20g存储空间。哈希表的存储效率一般只有 50%,所以实际存储空间大概需要40g。布隆过滤器只需要哈希表 1/8 到 1/4 的大小就能解决同样的问题。也就是需要大概10g以下的空间,也是比较理想的。当然也有麻烦的地方就是有可能不是100%准确。