mongo cursor超时的问题

最新推荐文章于 2022-05-14 19:47:49 发布
最新推荐文章于 2022-05-14 19:47:49 发布
阅读量1.2k 收藏
点赞数
分类专栏： php mongo 文章标签： mongo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cominglately/article/details/100521608
版权
php 同时被 2 个专栏收录
137 篇文章 0 订阅
订阅专栏
mongo
35 篇文章 0 订阅
订阅专栏

文章目录

场景

  • 400万Mongo历史数据放入elasticsearch中, 历史数据放入之前要进行一定的过滤，转换操作, 使用默认的游标设置，报找不到游标

分析

  • 游标两次请求之间 如果超过了10分钟 则自动销毁

解决

  • 在生成游标的时候 设置timeout
    • 一般也不这样设置, 一定遇到异常 会操作资源无法自动销毁
  • 在生成游标的时候 设置每次取出的数量
    • 这个数量一定是10分钟内可以执行结束的
  • 一次性取完
    • 不这样设置
  • 加快执行单元的执行速度
    • 单条插入换成批量插入, 速度10倍+
    • 选用
cominglately
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB游标超时问题的4种解决方法
09-09
主要给大家介绍了关于MongoDB游标超时问题的4种解决方法，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
mongodb基础篇--cursor对象
兴国-为梦想而战
12-02 7631
文章目录limit和skipcount()和size()sort()next()和forEach()toArray()map() Cursor 对象不是查询结果，而是查询返回的 接口。当我们调用 find()/findMany()/findOne() 时，Shell 并不是立即从数据库中取出数据，而是在我们使用时才会取出数据。Cursor 对象有很多方法，例如 close()，hasNext()，...
MongoCursor简单总结
weixin_33922672的博客
05-12 3465
cursor要不要显式关闭 Mongo查询数据实现一 MongoCursor<Document> cursor = collection.find().limit(limit).iterator(); List<T> documentList = new ArrayList<>(); try { ...
mongo cursor 游标超时
红衣女妖仙的博客
11-11 3296
mongo cursor 游标超时 mongo cursor 游标超时问题 场景描述 使用 java 程序通过定时任务处理 mongo 中的数据时（mongo 集合中共有近一亿个文档，每次只处理其中的小二十万），出现了以下错误： org.springframework.data.mongodb.UncategorizedMongoDbException: Query failed with error code 43 and error message 'Cursor not found, cursor
MongoDB - Cursors
weixin_34315665的博客
12-09 154
db.collection.find()查询集合会返回一个包含查到的文档的游标。在mongo shell中，如果没有定义一个变量来该游标的内容，默认会迭代返回20个文档。 &gt; db.users.count();db.users.count(); 26 &gt; db.users.find();db.users.find(); { "_id" : ObjectId("5667dbb...
MongoDB 查询游标超时
木下瞳的博客
05-14 1361
背景 mongo 里面有 4000w 数据，数据量很大，需要 python 读取清洗处理，插入 mysql 里面，但在读的时候会存在游标超时，还有数据量太大读不出来，直接读是读不了的。 解决办法 在网上先找了游标超时解决办法，大部分都是这样说的： 4种方法解决MongoDB游标超时的问题 | 谢乾坤 | Kingname 但我还有数据量太大读不出来的问题，集合游标超时一起解决的 python 代码： import pymongo # 连接 mongo 的 年度数据集合 client
监控mongo状态慢查询
03-02
如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用mongostat来查看mongo的状态。它的输出有以下几列：类似于MySQL的slowlog,MongoDB可以监控所有慢的以及不慢的查询。Profiler默认是关闭的，你...
mongo.tar 镜像
01-28
mongo docker 镜像
Mongo 3T带破解码
04-19
Mongo数据库连接工具,带破解批处理文件.3T支持的mongo功能很多
mongodb:error fetching oplog during initial sync
Steven的博客
09-01 502
稍后再写
Mongo Cursor
dengjiyu8406的博客
11-28 542
简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：Mongo 数据库 4台服务器 4000+表 总共3亿+数据量 背景介绍：即将建立大数据平台...
MongoClient opened before fork. Create MongoClient only
qq_40844266的博客
08-24 836
运行mongodb代码时，报警告：UserWarning: MongoClient opened before fork. Create MongoClient only after forking. See PyMongo’s documentation for details: http://api.mongodb.org/python/current/faq.html#is-pymongo-fork-safe "MongoClient opened before fork. Create MongoC
MongoCursorNotFoundException,关于mongodb使用过程报游标找不到的问题
firstendhappy的博客
06-24 1477
游标是什么？什么情况下游标会找不到？
MongoDB 游标超时解决办法
zjgnl的专栏
06-23 4933
解决 MongoDB 的 cursor id is not valid at server 问题你在用 db.collection.find() 的时候，它返回的不是所有的数据，而实际上是一个“cursor”。它的默认行为是：第一次向数据库查询 101 个文档，或 1 MB 的文档，取决于哪个条件先满足；之后每次 cursor 中的文档用尽后，查询 4 MB 的文档。另外，find() 的默认行为...
mongodb Cursor
u012714981的专栏
11-30 4642
Cursor method： let myCursor = db.collection.find(); cursor.limit(): 设置游标返回文档的个数 findOne() = find().limit(1); cursor.next() 和 cursor.hasNext() 这两函数长配合使用：while(myCursor.hasNext()){
MongoDB Tailable Cursors
weixin_34368949的博客
06-14 217
MongoDB Tailable CursorsMongoDB 有一个叫 Tailable Cursors的特性，它类似于tail -f 命令，你在一个Capped Collection上面执行查询操作，当操作完成后，你可以不关闭返回的数据Cursor，并持续地从中读出新加入的数据。在高写入的Capped Collection上，索引不可用时，可使用Tailable Cursors。例如，Mong...
MongoDB 游标(Cursor)
luorufeng的专栏
08-21 1596
  游标定义： 通俗的讲，游标是查询的返回资源接口，通过这个接口可以逐条遍历。   声明游标： var c1 = db.user.find({age:{$lt:5}}); c1.hasNext();//判断游标是否已经到了尽头 c1.next();//取出游标的下一个单元   eg: var c1 = db.user.find({age:{$lt:5}}); while ...
MongoDB使用游标MongoCursor查询海量数据
jinbang1991的专栏
03-31 4490
1.业务场景 大约70几万条MongoDB数据迁移到mysql 刚开始是先查询总数，然后再根据总数进行分页查询，如果数据量特别大，查询到后面的页会越来越慢，此种情况，可以根据实际情况，对数据进行排序查询后，查询条件加上大于上页最后一条数据的排序键来提升速度。 ```java Date beginTime = DateUtil.parse(startDate + " 00:00:00", DateUtil.PATTERN_DATETIME); Date endTime = DateUtil...
java连接mongo 并进行超时设置
最新发布
07-20
要在Java中连接MongoDB并设置连接超时，你可以使用MongoDB的官方Java驱动程序，也称为MongoDB Java Driver。以下是一个示例代码，展示了如何连接MongoDB并设置连接超时： ...如果你有更多问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值