如何提升sqlite中blob数据的查询性能

最新推荐文章于 2024-07-20 21:38:25 发布
最新推荐文章于 2024-07-20 21:38:25 发布
阅读量4.3k 收藏 4
点赞数 1
分类专栏： sqlite3 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chinaclock/article/details/50370210
版权
本文探讨了SQLite中存储大型BLOB数据时，内部存储（直接存于数据库）与外部存储（独立文件）的性能差异。测试结果显示，当BLOB数据超过100kB时，使用外部文件存储通常性能更优。而页大小设置为8192或16384字节时，对于大型BLOB的I/O操作表现最佳。不过，实际性能还取决于硬件、文件系统和操作系统。建议在目标硬件上验证这些结论。
摘要由CSDN通过智能技术生成

关于sqlite的blob数据存储，由于暂时没有时间深入到代码内部去进行详细分析。

看到sqlite官网上有类似的测试数据和对比。


结论是：正常情况下，如果blob的数据量超过100kB，那么最好使用分开单独的文件来存储blob数据性能会好一点。如果非要讲Blob数据存储在一个数据库文件中，那么增加Page Size可以在一般情况下提升性能。当然文章了说了，具体还是与硬件、文件系统、操作系统有关系。

Internal Versus External BLOBs in SQLite


If you have a database of large BLOBs, do you get better read performance when you store the complete BLOB content directly in the database or is it faster to store each BLOB in a separate file and store just the corresponding filename in the database?

To try to answer this, we ran 49 test cases with various BLOB sizes and SQLite page sizes on a Linux workstation (Ubuntu circa 2011 with

最低0.47元/天 解锁文章
chinaclock
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用VB存取数据库中BLOB数据
11-29
以下将详细讲解如何利用VB来存取数据库中的BLOB数据。 首先，我们需要了解BLOB数据的基本概念。BLOB是数据库管理系统中用来存储大量二进制数据的字段类型，它可以是任何类型的图像、文档或者其他非文本数据。在...
sqlite查询慢的问题
不会汇编的程序员不是真正的程序员
11-23 4009
做了个词典，数据量可想而知，开始没有任何优化，也是好奇了这个速度到底怎么样，果然不出所料慢的惊人。于是开始了下面的烧脑过程。 1.用显式事务 发现的确快了不少，但是还是慢，和原始的文件方式无法比，而且发现大小写敏感很多词查不到，于是我就加了COLLATE NOCASE，这给自己挖了一个不小的坑。 2.建立索引 老实说我并没有发现多快，于是又花了很多时间，最后看到一个比较的文章时，想到是不是...
怎么从sqllite拿到一个Blob类型的数据并打印出来。打印出现[B@6fde07a 问题
最新发布
weixin_63128816的博客
07-20 213
拿到blo后打印不出来 出现 [B@6fde07a 查了才发现不能直接打印。Java 中 byte 数组的默认打印方式，它并不直接显示数组内容或者字节数据的具体内容。可以手动遍历 byte 数组并打印每个元素的值。将字节数组中的每个字节转换为十六进制。在 Java 中，当你打印一个对象时，如果该对象没有重写。是一个 byte 数组，你会看到类似。的输出，而不是 byte 数组的内容。是该对象的哈希码的十六进制表示。方法，Java 会使用默认的。表示一个 byte 数组，为什么会出现这样的情况。
SQLite Blob读写的局限性
iihero@CSDN
11-25 242
在使用SQLite在Windows Mobile上的大容量BLOB读写时，遇到一个OOM的问题，让我们都觉得不可思议： executeStmt(db, stmt, "create table foo(id integer not null primary key, content blob null, content2 blob null)"); sqlite3_s...
SQLITE BLOB二进制文件读取
热门推荐
xuqiang918的专栏
10-31 1万+
JMutexAutoLock autolock( &dbJMutex );  CString strTemp ;  //1.连接到数据库  //2.添加数据  //3.关闭数据库    try  {   time_t t ;   time(&t);   INT64 n64time = t;   char **dbResult;   char *errmsg;   i
SQLite常用性能优化配置
weixin_44519342的博客
02-11 1838
SQLite常用性能优化配置
sqlite高性能插入数据
08-27
在处理大数据插入时，优化SQLite的性能对于提升整体应用的效率至关重要。以下是一些关于如何提高SQLite在插入数据时性能的关键知识点： 1. **批量插入**： - 通过一次性提交多条SQL语句，而不是每插入一条就提交一...
readsqlite2.zip_blob_matlab_sqlite_readsqlite2_sqlite_sqlite mat
07-14
通过阅读源代码，可以更深入地了解如何在MATLAB中有效地处理SQLite数据库中的BLOB数据，以及如何进行高位低位交换操作。这个过程对于那些需要在MATLAB环境中处理SQLite数据库中二进制数据的用户来说是非常有价值的。
Mybatis 处理 CLOB、BLOB 类型数据
03-03
Mybatis 处理 CLOB、BLOB 类型数据 MyBatis 处理 CLOB、BLOB 类型数据是指在使用 MyBatis ...通过使用 MyBatis 处理 CLOB 和 BLOB 类型数据，可以方便地存储和读取大字段类型的数据，提高应用程序的性能和可扩展性。
C++插入SQLite数据库的BLOB字段
10-23
使用环境是VS2010，往SQLite数据库的BLOB字段里插入jpg，主要修改路径和文件名也可以换成其他文件。工程里也自带SQLite的编译文件，如果需要的也可以下载。
QT sqlite BLOB类型 写入数组
weixin_39926429的博客
04-18 663
//sqlite数据库的BLOB类型常常用来存数组，不同类型和长度的数组，需要转化为一个个 //字节。 //哪些数组呢，整型、浮点型、字符串都可以。图像的raw数据也是数组。
比文件系统读写还快的SQl数据库- SQLite
wank1259162的博客
03-18 2858
SQLite reads and writes small blobs (for example, thumbnail images)35% faster¹than the same blobs can be read from or written to individual files on disk using fread() or fwrite().
数据压缩及Sqlite的大对象字段BLOB数据的读写操作
pathfinder1987的博客
12-07 2430
目标： 1. 对标量型数组（int、byte和double等）进行数据压缩； 2. 用解压算法对压缩后的数据进行复原； 3. 查看压缩前后磁盘空间和读写性能差异。 工具： System.Data.Sqlite.dll （将压缩后的数据流存放在Sqlite的BLOB类型字段中） zlibnet.dll （完全开源和免费）网址：http://www.componentace.com/zli
子查询扁平化优化：SQLite SQL语句性能提升策略
在讨论子查询扁平化之前，首先回顾了SQLite的一些核心概念和特点，包括其弱类型支持、BLOB数据类型、UTF-8/UTF-16编码、用户自定义分类排序以及64字节的行编号，这些特性有助于优化数据存储和查询效率。SQLite虽然不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值