记一次python遍历mangodb然后Cursor not found

最新推荐文章于 2022-02-14 14:09:46 发布
最新推荐文章于 2022-02-14 14:09:46 发布
阅读量208 收藏
点赞数
分类专栏： 学习记录 文章标签： mangodb cursor not found
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34939975/article/details/99676033
版权

在做千万条数据遍历取出到mysql时,两次运行总是就Cursor not found ....很迷

然后分析了下服务器内存,cpu,负载等,都没问题.....然后据说可能时间长,游标会被kill掉...就百度一下Cursor not found ...

 

果然就是这原因..

解决办法两种:

1.  find()时传入timeout=False(这个方法不好)

 

2.  设置batch 大小,保证取出来的能用完..服务器就会在去联系mangdodb,让他在给点资源....就不会被kill了.

下面解决方法,看一下吧

 

原文:https://blog.csdn.net/zjgnl/article/details/80781891

qq_34939975
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB ，cursor not found异常
hijk7的博客
08-06 625
MongoDB ，cursor not found异常
解决mongo遍历异常cursor id not found
hbh112233abc的博客
05-12 2605
遇到问题: 写了一个PHP脚本对mongo数据进行批量处理,发现运行一段时间报错 cursor id 14510357100220 not found 网络上查找了一下解决方案 https://blog.csdn.net/zh0u_f/article/details/72897628 https://www.cnblogs.com/CHWLearningNotes/p/10333479.html 主要原因: 默认 mongo server维护连接的时间窗口是十分钟 默认 单次从 serve
日常错误记录
nnmxyz的博客
11-15 737
1.Mongodb聚合查询报错： 项目在对一个单表45W数据量的表进行聚合查询时，报错 Caused by: com.mongodb.MongoCommandException: Command failed with error 43: 'Cursor not found (namespace: 'yunding_cloud_event.aiqin_track_task', id: 111581...
pymongo.errors.CursorNotFound
jianmoumou
07-10 230
pymongo.errors.CursorNotFound: 查询大量数据引起的： 解决方式： find({}, no_cursor_timeout=True)
mongodb游标超时报错：com.mongodb.MongoCursorNotFoundException: Query failed with error code -5的四种处理方式
qq_41018861的博客
01-25 4899
背景： 我遇到这个问题是用datax导数据时我们自定义了mongoreader组件在读取亿级数据量表时报错，数据量大，数据结构复杂，其中所读取的数据库数据较多，因为是线上业务库读取数据的速度被限制，加之当时网络波动，之前运行正常的任务报了游标超时的错误。 问题 Caused by: com.mongodb.MongoCursorNotFoundException: Query failed with error code -5 and error message 'Cursor 400554224227
Python保存MongoDB上的文件到本地的方法
12-25
本文实例讲述了Python保存MongoDB上的文件到本地的方法。分享给大家供大家参考，具体如下： MongoDB上的文档通过GridFS来操作，Python也可以通过pymongo连接MongoDB数据库，使用pymongo模块的gridfs方法操作文档。...
python&MongoDB爬取图书馆借阅记录
12-23
然后将借阅历史中的题名、著者、借阅日期、归还日期、索书号存入Mongodb数据库中，以上便是这次爬虫的需求。 下面开始： 各软件版本为： python 2.7.11 MongoDb 3.2.1 Pycharm 5.0.4 MongoDb Management Studio ...
mongodb_python连接mongodb_python_MongoDB_
10-01
如果要一次插入多个文档，可以使用`insert_many()`方法： ```python documents = [{"name": "Bob", "age": 25}, {"name": "Charlie", "age": 35}] collection.insert_many(documents) ``` 下载（查询）数据则使用`...
python连接mongodb密码认证实例
09-09
在Python编程中，MongoDB是一个常用的文档型数据库，它提供了丰富的功能和强大的性能。当我们需要在Python应用中连接到MongoDB并进行密码认证时，可以使用PyMongo库，这是一个官方支持的Python驱动程序，用于与...
mongoDB: cursor not found on server
weixin_34341117的博客
11-07 535
查询mongoDB集合数据更新，数据有400w多。我一次用cursor(游标)取1w，处理更新。程序在某段时间运行中遍历游标时发生异常！ DBCursor cursor = tabColl.find(queryObj).skip(startRow).limit(pageSize); 完整异常信息：com.mongodb.MongoException$CursorNotFound: curs...
python报错：pymongo.errors.CursorNotFound: Cursor not found
mr~li的博客
08-16 3613
今天在做查询mongo并遍历其中url做下载的工作时，报了下面的错误 pymongo.errors.CursorNotFound: Cursor not found 刚开始以为是逻辑处理的不正确，最后找到原因是mongo自身的问题，默认在10分钟内如果没有返回，就会报这个错，就是说如果你的查询语句查询数据量大，并且在十分钟内对这些数据没有处理完成，就会报这个错 解决方法： 1、设置no_c...
关于MongoException$CursorNotFound的异常处理
u013566141的专栏
06-25 1181
一般情况下,mongo cursor的连接时常默认为10分钟, 一旦超过这个时间,cursorh'h
MongoDB 游标超时解决办法（cursor id is not valid at server）
weixin_40583191的博客
04-01 931
你在用 db.collection.find() 的时候，它返回的不是所有的数据，而实际上是一个“cursor”。它的默认行为是：第一次向数据库查询 101 个文档，或 1 MB 的文档，取决于哪个条件先满足；之后每次 cursor 中的文档用尽后，查询 4 MB 的文档。另外，find() 的默认行为是返回一个 10 分钟无操作后超时的 cursor。如果我一个 batch 的文档十分钟内没处理...
pymongo.errors.CursorNotFound: Cursor not found 原因+解决办法
manduner的博客
08-22 6374
1，原因 一般情况下，工程上需要处理的数量比较大， 比如我常处理的数据记录常常在千万级别以上。出现以上问题的原因就是： 和数据规模有关， 也和对该大规模的数据处理有关。 我出现的问题的代码如下，其中dataprocess()函数耗时较长 import pymongo client = pymongo.MongoClient() db = client['db_name'] col = db['...
MongoDB 游标超时解决办法
zjgnl的专栏
06-23 4950
解决 MongoDB 的 cursor id is not valid at server 问题你在用 db.collection.find() 的时候，它返回的不是所有的数据，而实际上是一个“cursor”。它的默认行为是：第一次向数据库查询 101 个文档，或 1 MB 的文档，取决于哪个条件先满足；之后每次 cursor 中的文档用尽后，查询 4 MB 的文档。另外，find() 的默认行为...
mongo中遍历数据库的方法
weixin_45614626的博客
02-14 1253
虽然mongo由于底层索引的数据格式问题，导致遍历时候效率低下，但是总会有这样的遍历需求，正好也遇到了，就研究了一下怎么遍历。自己写了个test，有两种方式 @Resource private MongoTemplate mongoTemplate; @Resource private VirtualUserMongoDao virtualUserMongoDao; @Test public void virTest(){ MongoCollecti
mongodb利用foreach查询和游标遍历（mongodb 遍历对象）
热门推荐
xiaojiahao_kevin的博客
06-02 3万+
游标 　　find方法使用游标返回查询结果，游标的客户端实现使你可以对最终结果做很多的控制。在shell里创建一个游标很简单，往collection里放些document， 　　执行查询，将返回结果指派给一个本地变量即可。 > var cursor = db.collection.find(); > while (cursor.hasNext()) {    obj
遇到的问题-----c#操作mongodb用foreach遍历集合报错curcor not found
直到世界的尽头
05-10 3115
foreach (var ttdoc in database.GetCollection("集合名").FindAll())             {                             } 执行了一部分就报错 curcor not found 了   把上面的遍历改成如下：    var coll= database.GetC
-bash: mongodb: command not found
最新发布
03-24
-bash: mongodb: command not found 是一个错误提示，表示在当前环境中找不到名为mongodb的命令。这通常是因为你没有正确安装MongoDB或者没有将其添加到系统的环境变量中。 要解决这个问题，你可以按照以下步骤进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值