python url去重

python url去重
记录一些，总是忘记，感觉习惯写博客还不错

1，保存文件（数据库）中，一个一个查找是否有重复
2，压缩，将url进行压缩，放到hashset（set接口）中
3，布隆去重，原理：对于一个元素，经过m个散列函数，生成m个值，这m个值对应在向量v的位置分别置位1，查找的时候，通过上述方法，如果对应的位置有一个0，则表示元素不存在，碰撞：可能导致不存在的元素在当中
4，redis（key-value nosql ）去重：没用过，不清楚