MongoDB
爱吃肉真是太好了呀
这个作者很懒,什么都没留下…
展开
-
解决scrapy爬虫报错 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection
scrapy爬虫报错内容pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }, full error: {‘index’: 0, ‘code’: 11000, ‘keyPattern’: {’_id’: 1}, ’keyValue’:原创 2021-11-20 15:13:31 · 59243 阅读 · 0 评论 -
MongoDB+selenium+requests实现mp3音频去重爬取
1. 借助浏览器快速定位元素关于网页元素的定位方法有很多,css、xpath…网上一搜一大堆,我就不赘述了。浏览器都自带了调试工具,以Chrome为例,我们打开一个网页,右击网页–》检查,或者使用快捷键F12打开。调整浏览器调试窗口位置打开调试模式后,点击如图所示的位置,按照自己的喜好设置调试窗口位置开启查找元素定位点击Elements,然后使用ctrf+f,即可弹出一个输入框。我们可以在这里面输入字符串,使用selector,xpath语法xpath示例一如下图所示:定原创 2020-07-26 18:47:04 · 394 阅读 · 0 评论