Sqlite3 瞎捣鼓笔记

最新推荐文章于 2024-08-08 06:08:04 发布
最新推荐文章于 2024-08-08 06:08:04 发布
阅读量2.2k 收藏
点赞数
文章标签： 数据库 内存数据库 sqlite3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/backspace110/article/details/52820477
版权

目录

首先我要安利一个免费开源的工具软件,sqlitestudio.用来查看sql数据库的db文件的.
界面是Qt做的,漂亮,而且功能丰富实用.中文化程度高.
里面的sql编辑器可以直接写sql操作数据库.带语法检查.
这样你执行之后得到了什么结果就能一眼看出来.
(记得点击刷新按钮,不然看到的是上次的结果)
这年头,没个可视化还算什么数据库工具.有图:
sqlitestudio

##################正文#####################

一个朋友的一个课后作业,从文本文件依次读n阶字符串,写入数据库,统计每个字符串出现的次数与条件概率和联合概率 只统计文件中的英文字符,并统一转成大写字母

假如样本为:abcd9abcdefg

则统计的字符串为
0阶 a b c d a b c d e f g
1阶 ab bc cd da ab bc cd de ef fg
2阶 abc bcd cda dab abc bcd cde def efg
….
联合概率: 该字符串在文件中出现的次数/所有字符串的统计次数
条件概率: 该字符串在本阶的联合概率/ 该字符串前n-1个字符组成的字符串,在上一阶的联合概率

另一个用于概率计算演示的样本: aB2cA4b9789

由样本生成的0阶表

keycountjoinprobilityconprobility
A20.4NULL(0阶没有)
B20.4NULL(0阶没有)
C10.2NULL(0阶没有)

由样本生成的1阶表

keycountjoinprobilityconprobility
AB20.5 (2/(2+1+1))1.25 (0.5/0.4)
BC10.25 (1/(2+1+1))0.625 (0.25/0.4)
CA10.25 (同上)1.25 (0.25/0.2)

* 括号里的内容是不在数据库里的

Sqlite3 数据库SELECT INSERT UPDATE

初步方案是,先将文本文件解析并写到数据库里,只写key(主键)和count字段.
然后通过sql语句,由数据库计算联合概率和条件概率.
首先想到的是先 SELECT 查找该记录是否已存在,如果已存在则执行 UPDATE 否则执行 INSERT.

const char* table_name = "mytable"; // 表名前缀

/*查找记录回调函数
 *有查找结果时才会触发该回调函数,用于显示查询结果
 *这里没有使用具体的查询结果,只要该函数被调用就说明该记录已存在.直接置1
 */
int find_key_callback(void* data, int count, char** value, char** name)
{
    *(int*)data = 1;
    return 0;
}

/*查找记录是否已经存在
 *db 数据库句柄
 *order 当前阶数
 *str 当前阶数长度的字符串
 */
int find_key(sqlite3* db, int order, char* str)
{
    int is_exist = 0;   // 该字符串是否存在数据库中(1,存在. 0,不存在)
    char* err = NULL;
    char sql[1024] = { 0 };
    sprintf(sql, "SELECT key FROM %s%d WHERE key='%s'", table_name, order, str);
    int res = sqlite3_exec(db, sql, find_key_callback, &is_exist, &err);
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -1;
    }
    return is_exist;
}

/*更新对应阶数(order)的表中的数据(str)*/
int update_key(sqlite3* db, int order, char* str)
{
    char* err = NULL;
    char sql[1024] = { 0 };
    sprintf(sql, "UPDATE %s%d SET count=count+1 WHERE key='%s'", table_name, order, str);
    int res = sqlite3_exec(db, sql, NULL, NULL, &err);
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -1;
    }
    return 0;
}
/*向对应阶数(order)的表里插入新数据(str)*/
int insert_key(sqlite3* db, int order, char* str)
{
    char* err = NULL;
    char sql[1024] = { 0 };
    sprintf(sql, "INSERT INTO %s%d (key,count) VALUES ('%s',1)", table_name, order, str);
    int res = sqlite3_exec(db, sql, NULL, NULL, &err);
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -6;
    }
    return 0;
}

因此我们向数据库写入一条记录的程序就变成了这样

int input_record(sqlite3* db, size_t order, char* str)
{
    if (find_key(db, order, str))    // 该记录是否已经存在数据库中
    {
        update_key(db, order, str);  // 已存在,则更新count = count+1
    }
    else
    {
        insert_key(db, order, str);  // 不存在,则插入str,同时将count设为1
    }
    return 0;
}

这个方法有个弊端,无论记录存不存在,都执行了两条sql语句.
下面针对sqlite3的C语言接口函数进行优化:
直接 INSERT 如果记录已存在,则sqlite3_exec函数会返回一个错误码,那我们只要在执行完 INSERT之后,根据sqlite3_exec的返回值来决定是否执行 UPDATE
如此一来就不需要 SELECT 了,新的代码为

int input_record(sqlite3* db, size_t order, char* str)
{
    char* err = NULL;
    char sql[256] = { 0 };
    sprintf(sql, "INSERT INTO %s%d (key,count) VALUES ('%s',1)", table_name, order, str);
    int res = sqlite3_exec(db, sql, NULL, NULL, &err);
    if (res == SQLITE_CONSTRAINT)  // 已有记录,则 INSERT 失败,改为执行 UPDATE 操作
    {
        sprintf(sql, "UPDATE %s%d SET count=count+1 WHERE key ='%s'", table_name, order, str);
        res = sqlite3_exec(db, sql, NULL, NULL, &err);
    }
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -3;
    }
    return 0;
}

如此一来,在最佳情况下,只会执行一条 INSERT 语句.

Sqlite3 数据库UPDATE OF 触发器,INSERT 触发器

Sqlite3 sum函数求某记录的比例

联合概率的计算可以通过sqlite的触发器来完成

/* 更新触发器
 * 检测到 count字段更新动作,自动计算联合概率,更新joinprobility字段
 */
int update_trigger(sqlite3* db, int order)
{
    char* err = NULL;
    char sql[1024] = { 0 };
    char table[256] = { 0 };
    // 需要注意一点,更新触发器有两种模式,一种是对任何记录的更新都会触发
    // 另一种是 只有指定的字段被更新才会触发
    // 这里使用第二种,只有count被更新才会触发 触发器
    // 因为我们在更新触发器里执行了更新动作,
    // 使用第一种触发方式会导致触发器自触发,sqlite对此会提供相关的报错信息.
    sprintf(table, "%s%d", table_name, order);
    sprintf(sql, "CREATE TRIGGER update_trigger%d "\
            "AFTER UPDATE OF count "\
            "ON %s "\
            "BEGIN "\
            "UPDATE %s "\
            "SET joinprobility = (count * 1.0 / (SELECT sum(count)FROM %s)); "\
            "END;", order, table, table, table);
    int res = sqlite3_exec(db, sql, NULL, NULL, &err);
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -6;
    }
    return 0;
}

/* 插入触发器*/
int insert_trigger(sqlite3* db, int order)
{
    char* err = NULL;
    char sql[1024] = { 0 };
    char table[256] = { 0 };

    sprintf(table, "%s%d", table_name, order);
    sprintf(sql, "CREATE TRIGGER insert_trigger%d "\
            "AFTER INSERT "\
            "ON %s "\
            "BEGIN "\
            "UPDATE %s "\
            "SET joinprobility = (count * 1.0 / (SELECT sum(count)FROM %s)); "\
            "END;", order, table, table, table);
    int res = sqlite3_exec(db, sql, NULL, NULL, &err);
    if (res != SQLITE_OK)
    {
        ERROR_MESSAGE(sqlite3_errstr(res));
        return -6;
    }
    return 0;
}

Sqlite3 substr字符串截取函数,获取未知长度的前n-1个字符

最后计算条件概率,条件概率需要一个sql字符串截取函数,截取一串长度为n的字符的前n-1位,n未知.而且涉及两个表的数据

int update_conprobility(sqlite3* db, int order)
{
    char* err = NULL;
    char sql[256] = { 0 };

    if (order != 0) // 不计算第0阶的联合概率
    {
        sprintf(sql, "UPDATE %s%d SET conprobility ="\
                "(joinprobility*1.0/"\
                "(SELECT joinprobility FROM %s%d WHERE"\
                "key = substr(%s%d.key,1,length(%s%d.key)-1)))", \
                table_name, order, table_name, order - 1, \
                table_name, order, table_name, order);
        int res = sqlite3_exec(db, sql, NULL, NULL, &err);
        if (res != SQLITE_OK)
        {
            ERROR_MESSAGE(sqlite3_errstr(res));
            return -1;
        }

        sprintf(sql, "UPDATE %s%d SET conprobility = 1.0 "\
                    "WHERE conprobility > 1", table_name, order);// 数据修复,大于1的置1 
        res = sqlite3_exec(db, sql, NULL, NULL, &err);
        if (res != SQLITE_OK)
        {
            ERROR_MESSAGE(sqlite3_errstr(res));
            return -1;
        }
    }
    return 0;
}

至此基本功能完成.
结果一个388KB的txt文件, 获取0~10阶的数据足足跑了一晚上.
这让我很不开心

于是我去掉了触发器,因为每一个插入,更新记录,都会执行触发器计算,速度肯定会有影响.
同时改成了多线程,
首先通过fopen打开同一个文件10次,获取10个只读的文件句柄
然后建立10个线程同时操作一个数据库句柄,负责向该数据库中的10个表同时写数据
结果处理速度并没有明显提高,因为数据库都是线程安全的,内部肯定是有加锁处理的.
就在苦恼之时,发现了sqlite3有内存数据库

Sqlite3 创建内存数据库

获取内存数据库句柄可以按照和文件数据库一样的方法来操作.

sqlite3_open(":memory:",db);

而且内存数据库是没有锁的,而我这个需求每个线程操作一个表,表与表之间基本没有关联性,而且线程只负责写,因次,不需要线程锁.内存数据库换上之后,速度飞快.
原来需要一晚上的数据 现在50分钟就跑完了.
需要注意的一点是,内存数据库在内存里,退出就没了.

Sqlite3 导出内存数据库到文件

需要将sqlite3的内存数据库导出到文件数据库,
在sqlite3的官网有一段例程,去看网页右下角的 loadOrSaveDb 函数,
网上有人中文翻译过,可以去搜一下
第一个参数是内存数据库句柄,第二个参数是文件地址,第三个参数用来设置是导出还是导入.

e1ki0lp
关注
No module named _sqlite3解决方案
weixin_43178406的博客
06-04 8万+
本文主要介绍了No module named _sqlite3解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
sql 两条数据 空值合并_数据分析技能SQL学习（五）
weixin_39650139的博客
12-01 875
一、知识点1.1 表的加法：union：表结构相同时，将两个表的数据按行合并，删除重复行Union all：与union相同，但不删除重复行1.2 联结在SQL语句中关联表，常用的有内联结（inner join），左联结（left join)，右联结（right join)，全联结（full join)内联结（inner join）：简写为join，表示查找同时存在于两张表的数据左联结（left ...
sqlite3 to_sql if_exist 参数
xdxzxdxz的博客
03-17 1265
介绍： 昨天查看博客《读取CSV然后导入到Sqlite3中》发现作者没有说明 df.to_sql('some_table', conn, if_exists='append', index=False)中的相关参数 具体内容 'some_table'：是表名 conn：是连接 if_exists：表如果存在怎么处理 append：追加 replace：删除原表，建立新表再添加 fail：什么都不干 index=False：不插入索引index ...
SQLite 常用函数
最新发布
lsx202406的博客
08-08 745
SQLite 提供了丰富的函数来处理字符串、数值、日期和时间，以及进行聚合和窗口计算。这些函数在查询中非常有用，可以帮助你更有效地处理数据。
Linux C代码判断：sqlite3 表是否存在
pjwshuai的博客
04-14 2759
C代码判断：sqlite3 表是否存在。若不存在，创建表；存在，不创建。适用于解决运行一次创建数据库和表的代码后，数据库和表已经存在，再次运行该代码报错：create table failure：no such file or directory。
sqlite3学习之insert（添加）&select（查询）操作
热门推荐
luyaran的博客
01-10 1万+
SQLite 的 INSERT INTO 语句用于向数据库的某个表中添加新的数据行，语法有两种格式： #指定列名称 INSERT INTO TABLE_NAME [(column1, column2, column3,...columnN)] VALUES (value1, value2, value3,...valueN); #不指定列名称 INSERT INTO TABLE_NAME ...
03-SQLite3之insert、select、where
每天积累一点点
04-13 1万+
一、insert into语句用于向表格中插入新的行 语法：inert into 表名称 values(值1, 值2,....) 二、insert into在指定的列插入相关数据 语法：insert into table_name (列1, 列2,...) values (值1, 值2,....) 三、select 选取表中的所有内容
基于Flask以及sqlite3的文献笔记管理器
05-27
【作品名称】：基于Flask以及sqlite3的文献笔记管理器 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： 自动抓取文献...
sqlite3文件（sqlite3.dll，sqlite3.h，sqlite3.lib）
07-07
标题提到的"sqlite3文件"主要包括三个关键组成部分：`sqlite3.dll`、`sqlite3.h`和`sqlite3.lib`，它们在开发和运行使用SQLite3的应用程序时起着至关重要的作用。 1. `sqlite3.dll`: 这是一个动态链接库文件，通常...
sqlite3.exe绿色版 下载
10-01
SQLite是一款轻型的数据库，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作...
SQLite3 支持sqlite3-key() sqlite3-rekey()
07-14
免费版sqlite不带加解密功能，这个wssqlite实现了加解密数据库的功能，网上好多都是不能编译成功的,所以作者编译后，可以直接使用该资源，包含（sqlite3.h,sqlite3.lib,sqlite2.dll,sqlite3userauth.h）
sqlite3 数据库更新
08-24
sqlite3的更新不同于一般的数据库更新， 它的跨表更新比较麻烦。这里是个例子。
sqlite多行插入_SQLite3-批量insert插入多条信息-提高效率的办法
weixin_39899244的博客
12-22 3717
这也是之前进行了十万级别的insert插入信息，因为数量太多，所以感觉一条一条执行简直慢的要死……经过查询，找到了对应的解决办法，极大的提升了插入多条消息的效率。之所以慢，就是因为每一条指令都成了一个事务，从而极大的降低了执行效率，解决办法就是把所有的指令归结为一个事务一次执行即可。下面就是类比代码/*开始事务*/begin transaction;/*万条记录开始*/insert into [表...
SQLite中SELECT基本形式
04-08 247
SQLite中SELECT基本形式 每个数据库通常都包含多个表，而每个表又包含多条数据。要获取数据库中的数据，就需要SQL语言提供的查询语句SELECT。本章将讲解和SELECT语句相关的内容，其中包括SELE...
node sqlite 插入数据_sqlite3数据库小白入门
weixin_39641257的博客
10-29 336
什么叫做数据库管理系统？mysql、SQLs、sqlite.....达梦数据库例如：食堂管理系统：学生老师、食堂阿姨 管理员用户长江大学食堂管理系统（应用） 应用系统层mysql 管理系统层windows 操作系统数据库文件 文件一、sqlite3特殊指令1.如何使用sqlite3数据库打开数据库文件sqlite3 使用sqlite3数据库管理系统打开文件 ....
python建立简单的数据库_学会最简单的数据库|看完这7招就够了
weixin_39982017的博客
12-06 1755
这是菜鸟学Python的第93篇原创文章阅读本文大概需要4分钟前面一篇讲了数据库的基本介绍，目前流行的三大数据库有MySQL和Mongodb(还有一个以后告诉你),除了之外还有最简单的适合小白入手的sqlite3。对于初学者来说，我一直坚持学东西循序渐进，不要上来一口吃一个胖子，太贪心会噎着的。学数据库我依然会从简单的sqlite上手开始写，把sqlite练好之后再学其他数据库会简单很多，相信大家...
sqlite3——select语句 min()执行问题 iOS开发小记
JJs_f13l的专栏
07-09 1151
事情事前段时间的时候，在工作中使用sqlite3，执行一个SQL语句的时候程序挂掉了｀｀｀ 语句是 NSArray *array = [self execSelectSQLFotOrgnization:@"select userDepart, min(userOrder) as id from %@ group by userDepart order by id", tableName
python3内建的嵌入式数据库SQLite
pythonsnail的博客
10-03 1223
目录 写在前面一：使用数据库的宏观过程二：数据库使用1、导入数据库模块2、打开数据库2.1、在硬盘上建立数据库2.2、在内存上建立数据库 3、创建游标4、执行SQL语句4.1、创建表4.2、新增数据4.2、更新数据4.3、删除数据4.4、查询数据4.5、删除表 5、查询并显示数据5.1、全部显示5.2、显示一条5.2、显示多条 6、事务提交或回滚6.1、提交6.2、回滚 7、关闭数据库连接和游标 写在前面   SQLite3数据库是一款非常小巧轻量级的嵌入式开源数据库.
sqlite3之select语句的子句：group,having, order
微小冷的学习笔记
11-01 604
select语句的基本格式自然是select * from，定制化查询需要在后面加一个where，但查询之后可能还要对查询结果进行处理，所以select语句并不算完，其完整结构还包括分组、排序等跟多功能
SQLite3使用总结与技巧
"SQLite3+使用总结.pdf 是一份关于SQLite3数据库使用的详细文档，涵盖了从基础到进阶的各种操作，包括版本信息、编译方法、SQL语句操作、二进制处理、事务管理以及数据库加密等内容。作者强调了其跨平台特性和在不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值