Mongodb Failed: lost connection to server，导入大量数据报错

最新推荐文章于 2024-05-11 11:19:38 发布
最新推荐文章于 2024-05-11 11:19:38 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： mongodb 文章标签： mongodb bug 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demon_LL/article/details/68927276
版权

Mongodb Failed: lost connection to server。

因为Mongo对单次处理好像有大小限制（16m）好像是，

所以大文件会出问题,这应该是个Bug mongoimport 默认会10000条 为一个批量导入数据，

但实际上单条数据太大了,每10000条导入一次肯定是不行的

参数 --batchSize 可以指定每次批量导入的条数 设置小一些就OK了，

可设置为 --batchSize：1

列：mongoimport  -d users -c indexs indexs.dat --batchSize 1

搬砖快乐～
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决Navicat远程服务器2013-Lost connection to MYSQL server at ‘waitting for initial communication packet’
12-14
使用Navicat远程服务器mysql数据库时报错误：2013-Lost connection to MYSQL server at ‘waitting for initial communication packet’,system error：0 操作流程一、检验Mysql数据库是否安装成功二、对Mysql的配置...
txt-to-mongodb:将大型txt文件导入mongodb
06-29
const uri = 'mongodb://localhost:27017/mydatabase'; MongoClient.connect(uri, { useNewUrlParser: true, useUnifiedTopology: true }, (err, client) => { if (err) throw err; const db = client.db('...
MySQL远程连接丢失问题解决方法（Lost connection to MySQL server）
09-10
主要介绍了MySQL远程连接丢失问题解决方法,Mysql错误Lost connection to MySQL server at ‘reading initial communication packet’, system error: 0解决方法,需要的朋友可以参考下
MongoDB mongoimport 报错：lost connection to server
weixin_34247299的博客
06-30 232
MongoDB对单次处理有大小限制，所以导入大文件会出问题。 mongoimport 默认10000条 为一批导入，但如果单条数据过大，就会导致单次处理数据超过大小限制。 参数--batchSize 可以指定每次批量导入的条数，可设置为 --batchSize：1 例如：mongoimport -d 库名 -c 集合名 --jsonArray json文件名 --batchSize 1 ...
Lost connection to server at handshake: reading initial communication packet 异常的解决方案
2301_79779756的博客
05-11 2663
在连接MySQL或其他数据库服务器时，可能会遇到各种连接问题。其中，“Lost connection to server at handshake: reading initial communication packet” 是一个常见的错误，它通常发生在客户端尝试与数据库服务器建立连接时，但在握手阶段就丢失了连接。
MySQL - Error - Lost connection to MySQL server
chuckchen1222的博客
03-18 577
出现报错 "Lost connection to MySQL server"时，可能是什么原因： 官网[1]做出如下解释： There are three likely causes for this error message. Usually it indicates network connectivity trouble and you should check the condition...
将大量数据插入mongo中出现的一些问题
qq_46163588的博客
06-15 379
案例：爬取辽宁工程招投信息网信息 import pymongo#导入pymongo包 con=pymongo.MongoClient('localhost',27017)#连接mongo db=con.CDX#创建或选择数据库 table=db.cdx#创建或选择表 table.insert_one()#单项数据插入 table.insert_many()#多项数据插入 dict1是全局变量，因此在循环里输出id(dict1)得出的id都是一样的。 dict1 = {} list1 = [] for
如何备份和恢复MongoDB数据库：数据安全的最佳实践
最新发布
07-05
MongoDB是一个基于文档的NoSQL数据库，由C++语言编写，旨在为大量分布式数据提供高性能、高可用性和高灵活性的数据存储解决方案。MongoDB的主要特点包括： 1. **文档导向**：MongoDB存储BSON（二进制JSON）格式的...
SqlServer数据导入MongoDB
01-04
本篇文章将详细探讨如何将数据从SQL Server迁移到MongoDB，这一过程通常被称为数据导入或数据迁移。 首先，SQL Server是一款由微软开发的关系型数据库系统，以其强大的事务处理能力、数据完整性以及对ACID（原子性...
MongoDB应用案例：使用MongoDB存储日志数据
01-29
日志里会包含一些错误、警告、及用户行为等信息，通常服务会以文本的形式记录日志信息，这样可读性强，方便于日常定位问题，但当产生大量的日志之后，要想从大量日志里挖掘出有价值的内容，则需要对数据进行进一步的...
Mysql 2013 —— lost connection to server during query
YBaog Blog
03-01 416
在查询或者修改 Mysql 中的的表数据量较大的时候就会出现这种情况： 2013 —— lost connection to server during query 导致 mysql 无法工作 你可以参考我的方法： 修改 mysql 的配置文件 —— my.ini 在 /etc/mysql/ 找到 mysql 的配置文件 在最后一行添加max_allowed_packet=10*1024*1...
【项目部署】连接阿里云ECS中mysql 8.0 报错：lost connection to server
暮色年华的博客
04-01 504
连接阿里云
MySQL出现“Lost connection to MySQL server during query”问题分析与解决
热门推荐
02-21 3万+
原因1：备份可能达到MySQL超时限制。原因2：增加max_allowed_packet设置。原因3：可能为坏表
解决MySQL导入数据报错2013 - Lost connection to MySQL server during query
MyBoBo
04-02 1万+
这篇文章非常详细，不做赘述 仙人指路 -----》https://www.jianshu.com/p/98c7a63b84c3 分析原因是我的sql文件太大导致的，所以直接修改了max_allowed_packet 解决问题 set global max_allowed_packet=1024*1024*16; 详细内容可参考文内连接 ...
Mysql mysql lost connection to server during query 问题解决方法
w36680130的博客
09-27 400
Mysql mysql lost connection to server during query 问题解决方法
mongodb 导入大批量数据出错的解决办法
gabrielyang的专栏
03-15 2461
使用mongoimport --host **** --db opac --collection requestrecord --type csv --fieldFile d:\header.csv --file d:\requestrecord.csv --numInsertionWorkers 100   为了提高mongodb的插入效率，我们可以采用mongodb推荐的（numInse...
正确解决Lost connection to server at handshake: reading initial communication packet 异常的有效解决方法
wbajsjhhhhh的博客
05-02 4264
正确解决Lost connection to server at handshake: reading initial communication packet 异常的有效解决方法
Docker与MongoDB安全：保护敏感数据的策略
MongoDB作为一个流行的NoSQL数据库，常用于存储大量结构化和非结构化的数据，包括社会安全号码、财务信息等个人隐私数据。然而，随着数据泄露事件的频繁发生，确保这些数据的安全成为了一个紧迫的问题。 文章的第一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值