mongo cursor超时的问题

最新推荐文章于 2022-05-14 19:47:49 发布
最新推荐文章于 2022-05-14 19:47:49 发布
阅读量1.3k 收藏
点赞数
分类专栏： php mongo 文章标签： mongo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cominglately/article/details/100521608
版权
php 同时被 2 个专栏收录
137 篇文章 0 订阅
订阅专栏
mongo
35 篇文章 0 订阅
订阅专栏

文章目录

场景

  • 400万Mongo历史数据放入elasticsearch中, 历史数据放入之前要进行一定的过滤，转换操作, 使用默认的游标设置，报找不到游标

分析

  • 游标两次请求之间 如果超过了10分钟 则自动销毁

解决

  • 在生成游标的时候 设置timeout
    • 一般也不这样设置, 一定遇到异常 会操作资源无法自动销毁
  • 在生成游标的时候 设置每次取出的数量
    • 这个数量一定是10分钟内可以执行结束的
  • 一次性取完
    • 不这样设置
  • 加快执行单元的执行速度
    • 单条插入换成批量插入, 速度10倍+
    • 选用
cominglately
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoCursor简单总结
weixin_33922672的博客
05-12 3493
cursor要不要显式关闭 Mongo查询数据实现一 MongoCursor<Document> cursor = collection.find().limit(limit).iterator(); List<T> documentList = new ArrayList<>(); try { ...
Mongo Cursor
dengjiyu8406的博客
11-28 549
简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：Mongo 数据库 4台服务器 4000+表 总共3亿+数据量 背景介绍：即将建立大数据平台...
MongoDB 游标超时解决办法
热门推荐
h70614959的专栏
07-24 1万+
解决 MongoDB 的 cursor id is not valid at server 问题 最近在用 Python 抓些网站的数据到 MongoDB 数据库。偶尔会遇到 pymongo.errors.OperationFailure: cursor id '26777532088498352' not valid at server 这样的问题。今天看了下文档，找到了原因。
mongodb基础篇--cursor对象
兴国-为梦想而战
12-02 7778
文章目录limit和skipcount()和size()sort()next()和forEach()toArray()map() Cursor 对象不是查询结果，而是查询返回的 接口。当我们调用 find()/findMany()/findOne() 时，Shell 并不是立即从数据库中取出数据，而是在我们使用时才会取出数据。Cursor 对象有很多方法，例如 close()，hasNext()，...
mongo cursor 游标超时
红衣女妖仙的博客
11-11 3389
mongo cursor 游标超时 mongo cursor 游标超时问题 场景描述 使用 java 程序通过定时任务处理 mongo 中的数据时（mongo 集合中共有近一亿个文档，每次只处理其中的小二十万），出现了以下错误： org.springframework.data.mongodb.UncategorizedMongoDbException: Query failed with error code 43 and error message 'Cursor not found, cursor
MongoDB - Cursors
weixin_34315665的博客
12-09 158
db.collection.find()查询集合会返回一个包含查到的文档的游标。在mongo shell中，如果没有定义一个变量来该游标的内容，默认会迭代返回20个文档。 &gt; db.users.count();db.users.count(); 26 &gt; db.users.find();db.users.find(); { "_id" : ObjectId("5667dbb...
MongoDB 查询游标超时
木下瞳的博客
05-14 1401
背景 mongo 里面有 4000w 数据，数据量很大，需要 python 读取清洗处理，插入 mysql 里面，但在读的时候会存在游标超时，还有数据量太大读不出来，直接读是读不了的。 解决办法 在网上先找了游标超时解决办法，大部分都是这样说的： 4种方法解决MongoDB游标超时的问题 | 谢乾坤 | Kingname 但我还有数据量太大读不出来的问题，集合游标超时一起解决的 python 代码： import pymongo # 连接 mongo 的 年度数据集合 client
MongoDB游标超时问题的4种解决方法
09-09
MongoDB游标超时问题通常出现在使用游标迭代查询结果时，由于默认的游标超时设置（10分钟）限制，导致长时间未使用的游标失效。以下是对四种解决方法的详细阐述： 1. **修改MongoDB配置**： 这种方法涉及到更改...
mongo driver
08-14
`mongoc_collection_find()`启动一个查询，可以配合`mongoc_cursor_next()`遍历结果；`mongoc_collection_update_one()`和`mongoc_collection_update_many()`处理更新操作；而`mongoc_collection_delete_one()`和`...
mongo Table类文件 获取MongoCursor(游标)的实现方法分析
12-19
这个文件定义了MongoDB连接的相关参数，如默认主机（localhost）、默认端口（27017）以及连接选项，包括是否立即连接和超时时间。MongoConfig类还包含一个静态成员变量$conn，用于存储MongoDB连接实例，以及$default...
关于MongoDB谨防索引seek的效率问题详析
09-09
在案例中，开发团队遇到的问题是，一个针对工单数据表的分页查询操作在凌晨1点出现超时。查询涉及筛选特定时间范围内的工单并按工单号排序，同时利用了`oid`和`lastModifiedTime`两个字段的索引。虽然索引看似匹配...
mongodb:error fetching oplog during initial sync
Steven的博客
09-01 519
稍后再写
MongoClient opened before fork. Create MongoClient only
qq_40844266的博客
08-24 852
运行mongodb代码时，报警告：UserWarning: MongoClient opened before fork. Create MongoClient only after forking. See PyMongo’s documentation for details: http://api.mongodb.org/python/current/faq.html#is-pymongo-fork-safe "MongoClient opened before fork. Create MongoC
MongoCursorNotFoundException,关于mongodb使用过程报游标找不到的问题
firstendhappy的博客
06-24 1519
游标是什么？什么情况下游标会找不到？
mongodb Cursor
u012714981的专栏
11-30 4648
Cursor method： let myCursor = db.collection.find(); cursor.limit(): 设置游标返回文档的个数 findOne() = find().limit(1); cursor.next() 和 cursor.hasNext() 这两函数长配合使用：while(myCursor.hasNext()){
MongoDB使用游标MongoCursor查询海量数据
jinbang1991的专栏
03-31 4634
1.业务场景 大约70几万条MongoDB数据迁移到mysql 刚开始是先查询总数，然后再根据总数进行分页查询，如果数据量特别大，查询到后面的页会越来越慢，此种情况，可以根据实际情况，对数据进行排序查询后，查询条件加上大于上页最后一条数据的排序键来提升速度。 ```java Date beginTime = DateUtil.parse(startDate + " 00:00:00", DateUtil.PATTERN_DATETIME); Date endTime = DateUtil...
MongoDB Tailable Cursors
weixin_34368949的博客
06-14 226
MongoDB Tailable CursorsMongoDB 有一个叫 Tailable Cursors的特性，它类似于tail -f 命令，你在一个Capped Collection上面执行查询操作，当操作完成后，你可以不关闭返回的数据Cursor，并持续地从中读出新加入的数据。在高写入的Capped Collection上，索引不可用时，可使用Tailable Cursors。例如，Mong...
MongoDB 游标(Cursor)
luorufeng的专栏
08-21 1603
  游标定义： 通俗的讲，游标是查询的返回资源接口，通过这个接口可以逐条遍历。   声明游标： var c1 = db.user.find({age:{$lt:5}}); c1.hasNext();//判断游标是否已经到了尽头 c1.next();//取出游标的下一个单元   eg: var c1 = db.user.find({age:{$lt:5}}); while ...
java连接mongo 并进行超时设置
最新发布
07-20
要在Java中连接MongoDB并设置连接超时，你可以使用MongoDB的官方Java驱动程序，也称为MongoDB Java Driver。以下是一个示例代码，展示了如何连接MongoDB并设置连接超时： ```java import com.mongodb.MongoClient; import com.mongodb.MongoClientOptions; import com.mongodb.MongoCredential; import com.mongodb.ServerAddress; import com.mongodb.client.MongoDatabase; public class MongoDBConnection { public static void main(String[] args) { // 设置MongoDB服务器地址和端口号 ServerAddress serverAddress = new ServerAddress("localhost", 27017); // 设置MongoDB连接选项 MongoClientOptions options = MongoClientOptions.builder() .connectTimeout(5000) // 连接超时时间为5秒 .build(); // 设置MongoDB凭据（可选） MongoCredential credential = MongoCredential.createCredential("username", "database", "password".toCharArray()); // 创建MongoClient对象 MongoClient mongoClient = new MongoClient(serverAddress, credential, options); // 获取数据库 MongoDatabase database = mongoClient.getDatabase("your_database_name"); // 打印数据库名称 System.out.println("Connected to database: " + database.getName()); // 关闭连接 mongoClient.close(); } } ``` 在上面的代码中，我们首先创建了一个`ServerAddress`对象，用于指定MongoDB服务器的主机名和端口号。然后，我们使用`MongoClientOptions`来设置连接超时时间为5秒，并通过调用`build()`方法构建选项。 如果你需要进行身份验证，可以使用`MongoCredential`对象来设置用户名、数据库名称和密码。 最后，我们使用上述设置创建了一个`MongoClient`对象，并通过`getDatabase`方法获取连接的数据库。打印数据库名称后，我们关闭了连接。 请注意，你需要将`localhost`替换为你实际使用的MongoDB服务器地址，`27017`替换为你实际使用的端口号，以及`your_database_name`替换为你要连接的数据库名称。如果不需要身份验证，可以将`MongoCredential`相关的代码删除或注释掉。 希望这个示例能帮助你连接MongoDB并设置连接超时。如果你有更多问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值