使用 Sqlite3内存增长原因复盘

已于 2022-03-16 12:18:22 修改
阅读量1.8k 收藏 4
点赞数
分类专栏： 网关 文章标签： sqlite 数据库 database
于 2022-03-16 12:13:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinbo1234567890/article/details/123522480
版权

问题还原

0. 场景

  在做嵌入式产品时使用了Sqlite3的数据库，发现内存会异常增长，所有写了个Demo进行验证测试。此处仅提出个人的问题、分析和解决的方法，欢迎大神提出建议，共同进步。

1. 环境

CPU：A40i
架构：Cortex-A7
主频：1.2GHz
内存：2GB DDR3
ROM：8GB eMMC

2. 运行代码

创建表结构不在代码中体现，创建表方法：
CREATE TABLE Table_0_1 (
[Index] INTEGER PRIMARY KEY AUTOINCREMENT
UNIQUE,
Id INT NOT NULL,
Name TEXT (128) NOT NULL,
ValType INT NOT NULL,
Value TEXT (64),
Csq INT,
CreatedTime TIMESTAMP NOT NULL
DEFAULT (datetime(‘now’, ‘localtime’) )
);

代码V0.0版本：

  1. 打开数据库；
  2. 每秒执行一次插入动作；
  3. 关闭数据库
#include <iostream>

#include <stdint.h>
#include <sqlite3.h>

using namespace std;

bool g_bAppExitFalge = true;

static void exitSignalCall(const int32_t nSig)
{
   g_bAppExitFalge = false;
}

static int32_t registerSignal(void)
{
   signal(SIGINT, exitSignalCall);
   signal(SIGKILL, exitSignalCall);
   signal(SIGTERM, exitSignalCall);

   return 0;
}

int main(int argc, char const *argv[])
{
   sqlite3 *pDb = NULL;
   
   registerSignal();
    
   int32_t nRet = sqlite3_open("./MySqlite.db", &pDb);
   if (SQLITE_OK != nRet) {
       cout << "Open err!!!" << endl;
       return -1;
   }

   char szSql[128] = "INSERT INTO Table_0_1 VALUES (1,'TagTest',10,'100',1)"；
   
   while(g_bAppExitFalge) {
       
   	nRet = sqlite3_exec(pDb, szSql, NULL, NULL, &errMsg);
       if (SQLITE_OK != nRet) {
           cout << "数据插入错误:" << errMsg << endl;
           sqlite3_free(errMsg);
           errMsg = NULL;
       } else {
           if (errMsg) {
               cout << "执行正常:" << errMsg << endl;
               sqlite3_free(errMsg);
               errMsg = NULL;
           }
       }
       sleep(1);
       
   }

   sqlite3_close(pDb);

   return 0;
}

3. 现象

内存会不断增长，直至将内存耗尽；

问题分析

分析1

  问题初期一直认为是Sqlite3库的问题，所有使用了更高版本的库，还是会出现该问题。所有将代码放到PC虚拟机中执行，发现不会出现内存泄露，会稳定在一个定值。所以分析可能的原因：

  1. Arm架构的A40i的性能问题，因为1秒的插入周期可能太短了，因为插入操作，Sqlite 数据库肯定是需要进行一系列的操作比如：I/O开销，事务的打开和关闭。CPU没办法尽快的将数据正确插入，在内存中缓存了插入数据；
  2. 写入数据库的位置是外置电子硬盘，速率不高；

所以使用复合的SQL语句，代码如下：

代码V1.0版本

#include <iostream>

#include <stdint.h>
#include <sqlite3.h>
#include <signal.h>
#include <unistd.h>
#include <stdio.h>

using namespace std;

bool g_bAppExitFalge = true;

static void exitSignalCall(const int32_t nSig)
{
	g_bAppExitFalge = false;
}


/********************************************************************************************************************
 函数描述  : 注册信号处理函数
 参    数  : int32_t nSig: 触发信号
 返 回 值  : eSuccess: 成功		其他:失败
********************************************************************************************************************/
static int32_t registerSignal(void)
{
	signal(SIGINT, exitSignalCall);
	signal(SIGKILL, exitSignalCall);
	signal(SIGTERM, exitSignalCall);

	return 0;
}

int main(int argc, char const *argv[])
{
    
    sqlite3 *pDb = NULL;
	char *errMsg = NULL;
    int32_t nIndex = 199;

    registerSignal();

    int32_t nRet = 0; 
    nRet = sqlite3_open("/extp/DefineTag.db", &pDb);
    if (SQLITE_OK != nRet) {
        cout << "Open err!!!" << endl;
        return -1;
    }

    printf("Open every one...\n");
	char szSql[2048] = "INSERT INTO Table_0_1 (Id,Name,ValType,Value,Csq) "
        "SELECT 1,'TagTest',10,'100',1 "
        "UNION ALL SELECT 2,'TagTest',10,'100',1 "
        "UNION ALL SELECT 3,'TagTest',10,'100',1 "
        "UNION ALL SELECT 4,'TagTest',10,'100',1 "
        "UNION ALL SELECT 5,'TagTest',10,'100',1 "
        "UNION ALL SELECT 6,'TagTest',10,'100',1 "
        "UNION ALL SELECT 7,'TagTest',10,'100',1 "
        "UNION ALL SELECT 8,'TagTest',10,'100',1 "
        "UNION ALL SELECT 9,'TagTest',10,'100',1 "
        "UNION ALL SELECT 10,'TagTest',10,'100',1 "
        "UNION ALL SELECT 11,'TagTest',10,'100',1 "
        "UNION ALL SELECT 12,'TagTest',10,'100',1 "
        "UNION ALL SELECT 13,'TagTest',10,'100',1 "
        "UNION ALL SELECT 14,'TagTest',10,'100',1 "
        "UNION ALL SELECT 15,'TagTest',10,'100',1 "
        "UNION ALL SELECT 16,'TagTest',10,'100',1 "
        "UNION ALL SELECT 17,'TagTest',10,'100',1 "
        "UNION ALL SELECT 18,'TagTest',10,'100',1 "
        "UNION ALL SELECT 19,'TagTest',10,'100',1 "
        "UNION ALL SELECT 20,'TagTest',10,'100',1;";
    
    while(g_bAppExitFalge) {
        
		nRet = sqlite3_exec(pDb, szSql, NULL, NULL, &errMsg);
        if (SQLITE_OK != nRet) {
            cout << "数据插入错误:" << errMsg << endl;
            sqlite3_free(errMsg);
            errMsg = NULL;
        } else {
            if (errMsg) {
                cout << "执行正常:" << errMsg << endl;
                sqlite3_free(errMsg);
                errMsg = NULL;
            }
        }
        sleep(10);
	}

    printf("close success...\n");
    sqlite3_close(pDb);
    pDb = NULL;
    sleep(1);
    return 0;
}

结果

内存的消耗比V0.0版本的速度明显减慢，但是经过一晚上的运行，发现内存还是会增长。

分析2

针对于V1.0 版本的代码内存还是会增长的问题查资料，看到有人提出这样的分析，所有继续改良代码：

	---内存持续增加研究---
    
    原来，数据库是这样设计的：用内存保存数据，以提高增删查改的速度，同时把数据写入磁盘，让数据落地。
    如果不删除数据库里的数据，随着数据不断地添加到数据库，数据库越来越大，RES内存也越来越大。
    
    开启如下的删除数据库数据的功能代码后，虽然不断地有新数据添加到数据库，但也一直从数据库中删除着数据。
    数据库的数据总量一直保持一定数据的总量，VIRT、RES、SHR长期保存不变。
    
    所以，数据库里已经使用过的数据，应该尽量删除。
    或者，每次操作数据库的数据后，要关闭数据库连接，下一次要操作数据库的数据时，再打开连接。
    即重复如下逻辑："打开数据->操作数据库数据->关闭数据库"。
    
    当然，数据库文件也要定期缩减。因为即使你删除了数据库的数据，sqlite3也不会自动缩减数据库。
    所以，需要定期执行sql缩减数据库文件命令:"vacuum;"。

代码V2.0 版本

  1. 定期执行数据库缩减；
  2. 定期删除数据，使数据量总数保持一定；
#include <iostream>

#include <stdint.h>
#include <sqlite3.h>
#include <signal.h>
#include <unistd.h>
#include <stdio.h>

using namespace std;

bool g_bAppExitFalge = true;

static void exitSignalCall(const int32_t nSig)
{
	g_bAppExitFalge = false;
}


/********************************************************************************************************************
 函数描述  : 注册信号处理函数
 参    数  : int32_t nSig: 触发信号
 返 回 值  : eSuccess: 成功		其他:失败
********************************************************************************************************************/
static int32_t registerSignal(void)
{
	signal(SIGINT, exitSignalCall);
	signal(SIGKILL, exitSignalCall);
	signal(SIGTERM, exitSignalCall);

	return 0;
}

int main(int argc, char const *argv[])
{
    
    sqlite3 *pDb = NULL;
	char *errMsg = NULL;
    int32_t nIndex = 199;

    registerSignal();

    int32_t nRet = 0; 
    nRet = sqlite3_open("/extp/DefineTag.db", &pDb);
    if (SQLITE_OK != nRet) {
        cout << "Open err!!!" << endl;
        return -1;
    }

    printf("Open every one...\n");
	char szSql[2048] = "INSERT INTO Table_0_1 (Id,Name,ValType,Value,Csq) "
        "SELECT 1,'TagTest',10,'100',1 "
        "UNION ALL SELECT 2,'TagTest',10,'100',1 "
        "UNION ALL SELECT 3,'TagTest',10,'100',1 "
        "UNION ALL SELECT 4,'TagTest',10,'100',1 "
        "UNION ALL SELECT 5,'TagTest',10,'100',1 "
        "UNION ALL SELECT 6,'TagTest',10,'100',1 "
        "UNION ALL SELECT 7,'TagTest',10,'100',1 "
        "UNION ALL SELECT 8,'TagTest',10,'100',1 "
        "UNION ALL SELECT 9,'TagTest',10,'100',1 "
        "UNION ALL SELECT 10,'TagTest',10,'100',1 "
        "UNION ALL SELECT 11,'TagTest',10,'100',1 "
        "UNION ALL SELECT 12,'TagTest',10,'100',1 "
        "UNION ALL SELECT 13,'TagTest',10,'100',1 "
        "UNION ALL SELECT 14,'TagTest',10,'100',1 "
        "UNION ALL SELECT 15,'TagTest',10,'100',1 "
        "UNION ALL SELECT 16,'TagTest',10,'100',1 "
        "UNION ALL SELECT 17,'TagTest',10,'100',1 "
        "UNION ALL SELECT 18,'TagTest',10,'100',1 "
        "UNION ALL SELECT 19,'TagTest',10,'100',1 "
        "UNION ALL SELECT 20,'TagTest',10,'100',1;";
    
    while(g_bAppExitFalge) {
        
		nRet = sqlite3_exec(pDb, szSql, NULL, NULL, &errMsg);
        if (SQLITE_OK != nRet) {
            cout << "数据插入错误:" << errMsg << endl;
            sqlite3_free(errMsg);
            errMsg = NULL;
        } else {
            if (errMsg) {
                cout << "执行正常:" << errMsg << endl;
                sqlite3_free(errMsg);
                errMsg = NULL;
            }
        }
        sleep(10);

#if 1
        nIndex++;
        if (nIndex > 200) {
            
            cout << "开始执行删除" << endl;
            nRet = sqlite3_exec(pDb, "DELETE FROM Table_0_1 "\
                "WHERE julianday('now', 'localtime')-julianday(CreatedTime) >= 0.05;", \
                NULL, NULL, &errMsg);
            if (SQLITE_OK != nRet) {
                cout << "执行删除错误:" << errMsg << endl;
                sqlite3_free(errMsg);
            } else {
                cout << "执行删除成功:" << endl;
            }

            cout << "开始执行VACUUM:" << endl;
            nRet = sqlite3_exec(pDb, "VACUUM;", NULL, NULL, &errMsg);
            if (SQLITE_OK != nRet) {
                cout << "执行VACUUM错误:" << errMsg << endl;
                sqlite3_free(errMsg);
            } else {
                cout << "执行VACUUM成功:" << endl;
            }
            nIndex = 0;
        }
#endif

	  
	}

    printf("close success...\n");
    sqlite3_close(pDb);
    pDb = NULL;
    sleep(1);
    return 0;
}

结果

  1. 在做嵌入式场景时尽量降低数据插入的频率，如果确认有大量数据需要插入，采用复合语句；
  2. 对数据库的及时缩减；
古城码农
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Delphi使用SQLite3内存数据库
11-11
在本文中，我们将深入探讨如何在Delphi编程环境中利用SQLite3数据库系统，特别是关于本地数据库与内存数据库的使用。SQLite3是一种轻量级、自包含的数据库引擎，它不需要独立的服务器进程，使得在Delphi应用程序中...
sqlite3内存一直增长解决方法
weixin_43246170的博客
06-01 1117
但是有时候你观察sqlite3_memory_used大小没有变，但是通过指令top或者free你发现程序内存在增加且没有回收，这个时候可能只是系统没有对数据库的缓存进行回收，数据库为了能够快速增删改查，它会将数据加载到缓存中来进行提速。执行了sqlite3_prepare_v2和sqlite3_step后的sqlite3_stmt 指针需要回收，回收方法调用sqlite3_finalize。sqlite3_exec中的错误消息指针zErrMsg 需要回收，回收方法调用sqlite3_free。
sqlite3 内存持续增加_sqlite3使用简介(内含解决sqlite内存的方法)
weixin_39992788的博客
12-24 425
一．使用流程要使用sqlite，需要从sqlite官网下载到三个文件，分别为sqlite3.lib，sqlite3.dll，sqlite3.h，然后再在自己的工程中配置好头文件和库文件，同时将dll文件放到当前目录下，就完成配置可以使用sqlite了。使用的过程根据使用的函数大致分为如下几个过程：sqlite3_open()sqlite3_prepare()sqlite3_step()sqlite...
sqlite3 内存占用不断增加的问题
有理论，有实验，有结论，可为一篇文章
03-17 6955
文章目录1 背景2 问题3 排查4 问题原因5 解决方法 1 背景 嵌入式项目，故选用轻量级数据库 sqlite3； 通过 sqlite3 存储日志，日志数量较多，数据库文件大于500M； 嵌入式系统内存400M左右。 2 问题 在集成过程中出现如下问题： 通过 sqlite3_exec 函数不断往数据库中插入日志，内存占用不断增加； 通过 select count(*) from table_name获取日志的条数，内存迅速增大，增加的内存约等于数据库文件的大小。 开始一直以为是内存泄露了，不断排
sqlite3 内存持续增加_如何减少SQLite内存消耗？
weixin_28307725的博客
12-24 1678
我会：>准备语句(如果你没有这样做)>降低每个事务的INSERT数量(10秒= 50万个声音适当)>使用PRAGMA locked_mode = EXCLUSIVE;如果你可以的话另外,(我不知道如果你知道)PRAGMA cache_size是页面,而不是MB.确保将目标内存定义为PRAGMA cache_size * PRAGMA page_size或在SQLite> =...
sql中 vacuum命令：回收空白空间，减少数据库大小
阳光柠檬_的技术笔记
04-11 9688
The VACUUM command rebuilds the entire database. There are several reasons an application might do this: 1. Unless SQLite is running in “auto_vacuum=FULL” mode, when a large amount of data is deleted
sqlite3内存增长原因
qinbo1234567890的博客
05-04 678
原文链接https://blog.csdn.net/hexf9632/article/details/123546404 文章目录 1 背景 2 问题 3 排查 4 原因 5 解决方法 1 背景 嵌入式项目，故选用轻量级数据库 sqlite3； 通过 sqlite3 存储日志，日志数量较多，数据库文件大于500M； 嵌入式系统内存400M左右。 2 问题 在集成过程中出现如下问题： 通过 sqlite3_exec 函数不断往数据库中插入日志，内存占用不断增加； 通过 select count(*) from
解决sqlite删除数据后，文件大小不变问题
热门推荐
yangchun1213的专栏
06-12 2万+
说了这么多，没进主题，我的主题是给Sqlite在删除数据后擦屁股。 大家或许发现了，当你在sqlite中删除了大量数据后，数据库文件的大小还是那样，没有变。 就用我的项目来说，3M的数据删除后，sqlite的.db文件依然是3M，而我要的结果实际上只有35K，在压缩一下也就10几K了。为什么会出现这个问题，SqlCe的.sdf文件是即删即减的。   原因是： 当你从Sqlite删除数据后
SQLITE3 使用总结
09-10
Sqlite3 的确很好用。小巧、速度快。但是因为非微软的产品，帮助文档总觉得不够。这些天再次研究它，又有一些收获，这里把我对 sqlite3 的研究列出来，以备忘记。也希望能对大家有所帮助。
iOS 原生sqlite3的使用方法
08-28
iOS 原生sqlite3的使用方法 iOS 原生sqlite3的使用方法是iOS开发中的一种常见的数据库存储方式。本篇文章将详细介绍iOS原生sqlite3的使用方法，并提供基本的SQL语句操作和iOS开发中使用sqlite3的示例代码。 SQLite...
sqlite3.exe绿色版 下载
10-01
SQLite是一款轻型的数据库，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作...
让Python更加充分的使用Sqlite3
12-24
我最近在涉及大量数据处理的项目中频繁使用 sqlite3。我最初的尝试根本不涉及任何数据库，所有的数据都将保存在内存中，包括字典查找、迭代和条件等查询。这很好，但可以放入内存的只有那么多，并且将数据从磁盘重新...
SQLite3性能优化
tietao的专栏
10-20 2万+
SQLite3性能调整主要通过pragma指令来实现。 比如调整：空间释放、磁盘同步、Cache大小等。 一.空间释放 1.如何查询： PRAGMA auto_vacuum; 含义：查询数据库的auto-vacuum标记。 2.标记含义： auto-vacuum标记的含义： 正常情况下，当提交一个从数据库中删除数据的事务时，数据库文件不改变大小。未使用的文件页被标记并在以后的添加操
sqlite数据库的数据删除了，文件大小还是很大怎么办
blackof2012的专栏
10-29 3462
遇到这种问题可以用命令：vacuum 来解决，该命令可以释放暂储空间，可以直接用sqlite expert professional工具来执行
关于sqlite3删除表内数据后，数据库大小仍然不 变的问题
jutun5887的博客
01-05 3463
最近由于项目的需要，用到了sqlite3数据库相关的操作。因为之前用的是QT中自带的，不是用C语言来操作，不过总的来说相差不大。之前是在 操作数据库过程中，会导致内存不断的增加。后来是发现操作的过程中很多内存没有释放。但是最近又有新的问题是，在我删除表中的数据后，发现数据库文件的大小仍然不变，而且下次打开数据库后，发现仍然占用着系统的内存。找了很多方法，终于让我找到了根本原因。原来是因为从Sqli
解决sqlite删除数据或者表后，文件大小不变的问题
04-09 3059
原因：     sqlite采用的是变长纪录存储，当你从Sqlite删除数据后，未使用的磁盘空间被添加到一个内在的”空闲列表”中用于存储你下次插入的数据，用于提高效率，磁盘空间并没有丢失，但也不向操作系统返回磁盘空间，这就导致删除数据乃至清空整个数据库后，数据文件大小还是没有任何变化，还是很大 解决办法： sqlite3中执行vacuum命令即可。
Django 表单
最新发布
07-09 396
Django 表单是 Web 开发中不可或缺的一部分，它允许用户与网站进行交互，如提交数据、上传文件等。在 Django 框架中，表单功能非常强大，支持各种自定义和验证，使得开发者能够轻松地处理用户输入。本文将详细介绍 Django 表单的使用方法，包括创建表单、表单字段、表单验证、表单渲染以及表单提交等。
在.net 4.0中使用SQLite的内存数据库
06-03
您可以在.NET 4.0中使用SQLite内存数据库，以下是基本的步骤： 1. 下载SQLite的ADO.NET驱动程序（例如System.Data.SQLite），并将其添加到您的项目中。 2. 创建一个SQLiteConnection对象，将其连接字符串设置为“Data Source=:memory:”，这将创建一个内存数据库。 3. 打开连接并执行您的SQL查询。 4. 使用SQLiteDataAdapter或SQLiteDataReader等类从内存数据库中检索数据。 下面是一个简单的示例代码： ``` using System.Data.SQLite; //创建连接 SQLiteConnection conn = new SQLiteConnection("Data Source=:memory:;Version=3;New=True;Compress=True;"); conn.Open(); //创建表 string createTableSql = "CREATE TABLE myTable (id int, name varchar(20));"; SQLiteCommand createTableCmd = new SQLiteCommand(createTableSql, conn); createTableCmd.ExecuteNonQuery(); //插入数据 string insertSql = "INSERT INTO myTable (id, name) VALUES (1, 'John')"; SQLiteCommand insertCmd = new SQLiteCommand(insertSql, conn); insertCmd.ExecuteNonQuery(); //查询数据 string selectSql = "SELECT id, name FROM myTable;"; SQLiteCommand selectCmd = new SQLiteCommand(selectSql, conn); SQLiteDataReader reader = selectCmd.ExecuteReader(); while (reader.Read()) { int id = reader.GetInt32(0); string name = reader.GetString(1); Console.WriteLine("ID: {0}, Name: {1}", id, name); } //关闭连接 conn.Close(); ``` 希望这可以帮助您开始使用SQLite内存数据库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值