爬虫使用MongoDB存储数据怎么去除重复数据

这种情况请使用MongoDB的update来更新数据，而非用insert插入，具体如下：

db.collection.update( query, update, { upsert: , multi: , writeConcern: })

参数说明：
query : update的查询条件，类似sql update查询内where后面的。
update : update的对象和一些更新的操作符（如 , , <script type="math/tex" id="MathJax-Element-20">,</script>inc…）等，也可以理解为sql update查询内set后面的
upsert : 可选，这个参数的意思是，如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。
multi : 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。
writeConcern :可选，抛出异常的级别。

作者：苏若
链接：https://www.zhihu.com/question/265136483/answer/345885044