mongodb文档太大_使用MongoDB存储大文件

最新推荐文章于 2024-03-19 16:22:43 发布
最新推荐文章于 2024-03-19 16:22:43 发布
阅读量2k 收藏 2
点赞数
文章标签： mongodb文档太大
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35259908/article/details/112819263
版权
MongoDB的GridFS解决方案用于处理超过16MB的大文件存储，通过将文件切分成255KB的chunk存储在fs.files和fs.chunks集合中。上传和下载文件的Java代码示例展示了如何操作GridFS，包括设置chunk大小和获取文件内容。通过GridFS，可以方便地在MongoDB中管理大文件。
摘要由CSDN通过智能技术生成

GridFS是用来解决大文件(>16M)存储问题，因为mongo的BSON格式的document最大支持就是16M

使用GridFS，在存储文件之后，你会看到两张表：fs.files和fs.chunks

为了突破单个文档的存储限制，GridFS的做法是将文件切分成一个个的chunk存储。fs.files只存储文件的基本信息

真正的文件数据存在fs.chunks中

GridFS默认将文件切分为每个255K大小的chunk。

比如我上传了一个119M的压缩文件。

看下最后用了470个chunk。470*255 = 119850K

看一下fs.files的数据结构

{ "_id" ： ObjectId("5c8f0d788279cf2a7ca422bb"), "filename" ： "test.rar", ：文件名 "aliases" ： null, ：别名，非必须 "chunkSize" ： NumberLong(261120),：表示每个chunk的大小。261120就是255K "uploadDate" ： ISODate("2019-03-18T03:16:08.082Z"),：上传时间 "length" ： NumberLong(122144297),：上传的文件大小，单位是byte "contentType" ： "rar

最低0.47元/天 解锁文章
李昭材
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mongodb 中的"坑"系列 --- 单个文档16M大小限制
木木_Ray的专栏
09-22 5万+
仔细想想, 我们早已经进入了海量数据的时代, 数据量早已经不是M来形容
mongodb文档太大_mongodb 数据文件太大
weixin_39968436的博客
12-31 1423
问题: 开发服务器mongodb数据文件太大。占用近80G,其中某个db占用最大(运营环境这个db的数据只有3G大小)分析: 开发环境有大量测试的 增加/删除/修改 操作, 长期以来会导致数据文件非常大,但 实际存储数据并不是很多.129M db_name.12.1G db_name.102.1G db_name.112.1G db_name.122.1G db_name.132.1G db_na...
【MongoDB】chunk too big to move的解决方案
weixin_33859665的博客
04-25 294
当某些块中的数据量特别大, 形成特大块的时候, Balancer就无法对数据块进行拆分, 也就无法对块进行挪动。使用MongDB 3.2版本, 解决方案如下：1. 首先关闭Balancersh.stopBalancer()2. 查询特大块useconfig db.chunks.find({jumbo:true})3. 拆分特大块sh.splitAt("db....
python文件替换一行_在Python中搜索并替换文件中的一行
weixin_39866774的博客
12-02 954
斯蒂芬大帝我想应该是这样的。它基本上将内容写入一个新文件，并将旧文件替换为新文件：fromtempfileimportmkstempfromshutilimportmovefromosimportfdopen,removedefreplace(file_path,pattern,subst):#Createtempfilefh,abs_path=...
【MongoDB】万字长文，命令与代码一一对应SpringBoot整合MongoDB之MongoTemplate
qq_61903414的博客
08-08 2242
命令：db.comment.insert({_id:"4",nickname:"ww",content:"这位是谁啊",userId:3,createTime:……命令：db.collectionName.find({ "nickname": "ww" }).sort({ "like": 1 })命令：db.comment.find({ "like": { $gt: 0, $lt: 5 } })命令：db.comment.find({}).skip(2).limit(2)
mongodb-windows-x86_64-4.4.4.zip
02-21
数据库是用于存储、管理和检索数据的系统，而MongoDB作为NoSQL数据库，其非关系型特性使其在处理半结构化和非结构化数据时表现出色，适合处理大规模数据。 在压缩包子文件的文件名"mongodb-win32-x86_64-windows-...
3.2.1_非关系型数据库mongodb及其搭建1
08-08
MongoDB是一种流行的非关系型数据库（NoSQL），它采用了文档存储的方式，以JSON对象（BSON格式）作为数据模型。MongoDB强调高性能、高可用性和可扩展性，尤其适合处理大规模的数据存储需求。由于其非关系性的特性，...
将MongoDB作为Redis式的内存数据库的使用方法
09-10
这样可以减少不必要的内存开销，并关闭日志记录功能，因为在这种模式下日志并无太大意义。 启动 MongoDB 后，数据文件将被创建在 `/ramdata` 目录下，并且可以通过插入和查询数据来验证其正常工作。 例如，创建一...
MongoDB数据库应用.docx
09-05
MongoDB 数据库是一种面向文档的数据库系统，使用 C++ 编写，不支持 SQL，但有自己功能强大的查询语法。MongoDB 使用 BSON 作为数据存储和传输的格式。BSON 是一种类似 JSON 的二进制序列化文档，支持嵌套对象和数...
SpringBoot - 集成MongoDB实现文件上传
Maggieq8324的博客
04-17 2094
目录前言环境代码实现测试源码 前言 记录下SpringBoot集成MongoDB实现文件上传的步骤 MongoDB - 5.0.6安装包 链接：https://pan.baidu.com/s/1lCcPvYYNWncb6lbvrZdeVg 提取码：0tf1 环境 SpringBoot - 2.5.12 MongoDB - 5.0.6 代码实现 pom.xml <dependency> <groupId>org.springframework.boot
java mongodb文件存储,java 基于 MongoDB GridFS 实现文件服务器
weixin_36386962的博客
03-19 706
1.MongoDB GridFS 简介GridFS是用于存储和检索超过16 MB BSON文档大小限制的文件GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。2.何时使用GridFS如果文件系统限制了目录中文件的数量，则可以使用GridFS来存储所需数量的文件。当您要访问...
DocumentTooLarge: BSON document too large:
魔法学徒de专栏
11-12 4345
找段错误的BUG的时候发现迭代mongo cursor的时候产生了这个异常： DocumentTooLarge: BSON document too large (108549088 bytes) - the connected serversupports BSON document sizes up to 16777216 bytes. Mongodb的单个文档的BSON size不能
mongodb 16M 限制
Zx13170918986的博客
12-04 2911
mongodb 单个document最大限制为16M。 验证代码如下 调整 sizee大小为16M，ReplaceOne返回错误 “an inserted document is too large”
8天学通MongoDB——第一天 基础入门
06-24 81
转载自：http://f.dataguru.cn/thread-144155-1-1.html 关于mongodb的好处，优点之类的这里就不说了，唯一要讲的一点就是mongodb中有三元素：数据库，集合，文档，其中“集合”就是对应关系数据库中的“表”，“文档”对应“行”。一： 下载 上MongoDB官网 ，我们发现有32bit和64bit，这个就要看你系统了，不过这里有两点注...
mongodb存储大文件
最新发布
weixin_47721347的博客
03-19 163
mongoDB使用pymongo的一些基本操作，和大文件处理方案。
mongodb文档太大_在MongoDB中存储非常大的文档
weixin_36238982的博客
02-07 1792
简而言之：如果您有大量不同大小的文档，那么相对较少的文档达到最大对象大小，那么在MongoDB中存储这些文档的最佳做法是什么？我有一组文件，如：{_id: ...,values: [12, 13, 434, 5555 ...]}值列表的长度因文档的不同而异 . 对于大多数文档来说，它会有一些元素，少数元素会有数千万个元素，我将在MongoDB中达到最大对象大小限制 . 麻烦是我提出的任何特殊解决方...
mongodb文档太大_MongoDB单文档大小限制为16MB
weixin_42501373的博客
12-31 4197
Known Information: Its is know that MongoDB stores in BSON (Binary JSON) and the maximum BSON document size is 16MB.Question: Why 16MB itself why not 32MB or 64MB or still more and where exactly the l...
修改服务器时间mongodb崩溃,Mongodb日志打印出的服务端的耗时问题
weixin_42343756的博客
08-05 608
我们有个应用使用mongoDb做操作日志的查询，偶尔会有server端执行超时的问题。在具体方案的过程中，偶尔发现mongo输出的日志中有关于执行耗时的信息，但是找不到这块代码在哪，所以无法判定mongo是怎么计算这个执行时间的。整体依赖信息如下:mongoDriver的依赖:org.mongodbmongo-java-driver3.12.7spring 集成的mongo，使用的spring版本...
mongodb java json bson_使用Java将JSON文档数组插入MongoDB时出错
05-26
在使用Java将JSON文档数组插入MongoDB时，你需要使用BSON工具将JSON转换为BSON格式。以下是一个示例代码，可以将JSON数组插入到MongoDB中： ``` import com.mongodb.MongoClient; import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值