xxxkoga的博客

转载 爬虫URL去重的优点和缺点

爬虫URL去重的优点和缺点1、将url保存到数据库中2、将url通过set方法到保存3、url经过md5等方法哈希后保存到set中4、levelDB5、 bloomfilter方法6、 redis 1、将url保存到数据库中 优点：速度快，不易丢失。 缺点：为避免重复每次存储时都会遍历数据库 2、将url通过set方法到保存 优点：速度快。 缺点：数据太多时内存...