sqlite mysql同步_sqlite内存数据库和文件数据库的同步[转]

最新推荐文章于 2023-03-02 20:32:56 发布
最新推荐文章于 2023-03-02 20:32:56 发布
阅读量730 收藏
点赞数
文章标签： sqlite mysql同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29219539/article/details/113642319
版权

const char* file_database_path = "/home/tom/test/database/filedb"; //文件数据库存放路径

const char* sql_create_data = "CREATE TABLE testinfo (id TEXT PRIMARY KEY, message TEXT, offset INTEGER, timestamp INTEGER);";

const char* sql_insert_data = "INSERT OR REPLACE INTO MAIN.testinfo VALUES('%s', '%s', %d, %d);";

const char* sql_delete_data = "DELETE FROM MAIN.testinfo WHERE id = '%s'; DELETE FROM filedb.testinfo WHERE id = '%s';"; //删除数据库，需同时删除内存、文件数据库中的内容

const char* sql_update_data = "UPDATE MAIN.testinfo SET message = '%s', offset = %d, timestamp = %d where id = '%s'; UPDATE filedb.testinfo SET message = '%s', offset = %d, timestamp = %d where id = '%s';";//更新数据库，需同时更新内存、文件数据库中的内容

const char* sql_search_data = "SELECT * FROM MAIN.testinfo WHERE timestamp BETWEEN %d AND %d union SELECT * FROM testdb.testinfo WHERE timestamp BETWEEN %d AND %d;"; //查找数据库，将内存、文件数据库中查找出的内容合并

const char* sql_transfer_data = "INSERT OR REPLACE INTO filedb.testinfo SELECT * FROM testinfo;";   //将内存数据库中的信息同步到文件数据库中

const char* sql_delete_memory_table = "DELETE FROM testinfo;";  //内存数据库中的内容同步结束后，清空

int InsertRecord(DATA_TYPE type, const char* id, const char* message, int offset, int timestamp)

{

int      rc              =  0;

char*    errMsg          =  NULL;

char     sqlcmd[512]     =  {0};

time_t   insertTimestamp =  0;

snprintf(sqlcmd, sizeof(sqlcmd), sql_insert_data, id, message, offset, timestamp);

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't add record to memory database %s, sqlcmd=%s, err:%s\n", map_data_table[type].data_table_name, sqlcmd, errMsg);

return -1;

}

return 0;

}

int UpdateRecord(DATA_TYPE type, const char* id, const char* message, int offset, int timestamp)

{

int      rc              = 0;

char*    errMsg          = NULL;

char     sqlCmd[512]  = {0};

snprintf(sqlCmd, sizeof(sqlCmd), sql_update_data, message, offset, timestamp, id, message, offset, timestamp, id);

rc = sqlite3_exec(memdb, sqlCmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't update record %s:%s\n", map_data_table[type].data_table_name, errMsg);

return -1;

}

return 0;

}

int DeleteRecord(DATA_TYPE type, const char* id)

{

int      rc              =  0;

char*    errMsg          =  NULL;

char     sqlcmd[512]     =  {0};

snprintf(sqlcmd, sizeof(sqlcmd), sql_delete_data, id,  id);

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't delete record %s:%s\n", map_data_table[type].data_table_name, errMsg);

return -1;

}

return 0;

}

int QueryMessage(DATA_TYPE type, int startTime, int endTime)

{

int      rc              = 0;

char     *errMsg         = NULL;

sqlite3  *filedb         = NULL;

char**   pRecord         = NULL;

int      row             = 0;

int      column          = 0;

char     sqlcmd[512]     = {0};

if (type > VEP_NELEMS(map_data_table) || type 

return -1;

}

rc = sqlite3_open(file_database_path, &filedb);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(filedb));

sqlite3_close(filedb);

return -1;

}

snprintf(sqlcmd, sizeof(sqlcmd), sql_search_data,  startTime, endTime,  startTime, endTime);

rc = sqlite3_get_table(filedb, sqlcmd, &pRecord, &row, &column, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't get table from%s:%s\n", map_data_table[type].data_table_name, errMsg);

return -1;

}

int i;

printf("row = %d, column = %d\n", row, column);

for(i = 0; i 

{

printf("%s ", pRecord[i]);

}

printf("\n");

return 0;

}

//定时调用此函数将内存数据中的内容同步到文件数据库

int Flush(){

int      i            = 0;

int      rc           = 0;

char*    errMsg       = NULL;

char     sqlcmd[512]  = {0};

snprintf(sqlcmd, sizeof(sqlcmd), sql_transfer_data);

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't transfer memory database %s to file databasede:%s\n", map_data_table[i].data_table_name, sqlite3_errmsg(memdb));

sqlite3_close(memdb);

return -1;

}

snprintf(sqlcmd, sizeof(sqlcmd), sql_delete_memory_table);

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

return 0;

}

//创建文件数据库

int CreateDbOnFile()

{

sqlite3 *db           = NULL;

int      rc           = 0;

char*    errMsg       = NULL;

char     sqlcmd[512]  = {0};

int      i            = 0;

rc = sqlite3_open(file_database_path, &db);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(db));

sqlite3_close(db);

return -1;

}

snprintf(sqlcmd, sizeof(sqlcmd), sql_create_data);

rc = sqlite3_exec(db, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't create file database testinfo:%s\n", errMsg);

sqlite3_close(db);

return -1;

}

sqlite3_close(db);

return 0;

}

//创建内存数据库

int CreateDbOnMemery()

{

int      rc           = 0;

char*    errMsg       = NULL;

char     sqlcmd[512]  = {0};

int      i            = 0;

rc = sqlite3_open(":memory:", &memdb);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(memdb));

sqlite3_close(memdb);

return -1;

}

snprintf(sqlcmd, sizeof(sqlcmd), sql_create_data);

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't create memory database %s\n", errMsg);

sqlite3_close(memdb);

return -1;

}

return 0;

}

//解绑数据库

int DetachDb()

{

int      rc           =  0;

char*    errMsg       =  NULL;

char     sqlcmd[512]  =  {0};

snprintf(sqlcmd, sizeof(sqlcmd), "DETACH '%s'", "filedb");

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "detach file database failed:%s:%s\n", file_database_path, errMsg);

sqlite3_close(memdb);

return -1;

}

return 0;

}

//将文件数据库作为内存数据库的附加数据库

int AttachDb()

{

int      rc           =  0;

char*    errMsg       =  NULL;

char     sqlcmd[512]  =  {0};

snprintf(sqlcmd, sizeof(sqlcmd), "ATTACH '%s' AS %s", file_database_path, "filedb");

rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);

if (SQLITE_OK != rc) {

fprintf(stderr, "cat't attach database %s:%s\n", file_database_path, errMsg);

sqlite3_close(memdb);

return -1;

}

return 0;

}

//初始化数据库，分别创建文件数据库、内存数据库并把文件数据库attach到内存数据库上

int InitSqliteDb()

{

int retval = 0;

retval =  CreateDbOnFile();

if (retval != 0) {

return retval;

}

retval =  CreateDbOnMemery();

if (retval != 0) {

return retval;

}

retval =  AttachDb();

if (retval != 0) {

return retval;

}

return 0;

}

Angie洛林
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Go-Gopli–采用Golang编写的DB数据同步复制工具
08-13
Gopli – 采用Golang编写的DB数据同步复制工具
SQLite数据库同步指南
02-27
SQLite DBSync是开源嵌入式数据库SQLite的数据同步引擎，实现了SQLite与SQLite数据库之间以及SQLite与异构数据库Oracle、MySQL、SQLServer之间的增量的、双向的数据同步功能。在文章中对SQLite DBSync 的体系结构、...
python 提取固定列名数据_python获取数据库列名
weixin_39806288的博客
12-01 6064
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户的数据库应用系统进行性能和风险评估，参与配合进行数据压测演练，提供数据库优化方面专业建议，在业务高峰期与用户共同保障数据库系统平...
保姆级教程：Python数据库编程（SQLite3+MySQL）
nine_mink的博客
10-31 2727
从Python3.x版本开始，在标准库中已经内置了SQLlite3模块，它可以支持SQLite3数据库的访问和相关的数据库操作。在需要操作SQLite3数据库数据时，只须在程序中导入SQLite3模块即可。Python语言操作SQLite3数据库的基本流程如下所示。
数据库MySQL与SQLite
u011117131的博客
03-02 2588
数据库MySQL与SQLite
sqlite3 数据同步
预则立
09-24 4092
在一个小项目中，用到sqlite3 ， 需要同步两个表，懒得装工具， 写了两个函数搞掂。贴代码出来给需要的朋友。 # encoding: utf-8 """ @author: 陈年椰子 @contact: [email protected] @version: 1.0 @file: workdb.py @time: 2019/6/18 17:32 说明 """ import sqlite3 ...
mysql2sqlite异构数据转.rar
06-05
sqlite同步mysql之优化，实现mysql与sqlite的同步技术源代码,学习了,好东西,值得一看
SQLite与MySQL、SQLServer等异构数据库之间的数据同步-附件资源
03-02
SQLite与MySQL、SQLServer等异构数据库之间的数据同步-附件资源
将mysql数据库结构同步到SQLITE的利器
05-25
将mysql数据库结构同步到SQLITE的利器
golang操作sqlite数据库
大前端程序猿
02-10 1万+
go-sqlite3开源库地址： https://github.com/mattn/go-sqlite3 使用方法代码如下： package main import ( "database/sql" "fmt" "log" _ "github.com/mattn/go-sqlite3" ) const ( dbDriverName = "sqlite3" dbName ...
sql-sync：SQLite（客户端）和MySQL（主服务器）之间的脱机复制
02-06
sql同步 SQLite（客户端）和MySQL（主服务器）之间的脱机复制。 该项目不是库，而是示例代码。 它的某些部分（ lib代码）可以在其他项目中重用。 该代码主要只是测试此处描述的方法是否有效。 该代码是为Node.JS构建的。 假定以下内容： 主键是 （此处为36个字符的字符串）； 没有外键约束。 可以使用外键约束，但随后必须正确地对表更新进行重新排序（使代码非常复杂！）。 可以使用代替UUID，但是并不总是存在良好的自然键。 在大多数情况下，必须使用大型复合键。 由于键值冲突，无法使用自动递增的键。 元信息 在客户端侧表的动作（插入/更新/删除）被记录到元数据表sync并具
Go语言中使用SQLite数据库
a616735104的博客
12-06 1263
Go语言中使用SQLite数据库 1、驱动 Go支持sqlite的驱动也比较多，但是好多都是不支持database/sql接口的 https://github.com/mattn/go-sqlite3 支持database/sql接口，基于cgo(关于cgo的知识请参看官方文档或者本书后面的章节)写的 https://github.com/feyeleanor/gosq...
oracle 11g数据仓库收费,Oracle数据仓库部署注意事项（OLAP）
weixin_39917090的博客
04-08 222
最近Oracle数据库升级到11G之后，出现一些问题，慢慢的开始发现一些需要总结的东西，每次心里都在想：下次，我自己搭建数据仓库的最近Oracle数据库升级到11G之后，出现一些问题，慢慢的开始发现一些需要总结的东西，每次心里都在想：下次，我自己搭建数据仓库的时候，一定要注意这些细节，在仓库的创建初期就做好这些工作。1、redo log的设计1)如果可以单独放，redo和数据文件单独划组做条带化等...
Golang连接SQLite、MySQL、Oracle数据库
子曰：好娃得是不抄作业？
02-10 8059
本文目录 1.Go连接SQLite 1_1.SQLite推荐驱动 1_2.SQLite连接示例代码 2.Go连接MySQL 2_1.MySQL推荐驱动 2_2.MySQL连接示例代码 3.Go连接Oracle 3_1.Oracle推荐驱动以及准备事项 3_2.Oracle连接示例代码 说明：go语言连接数据库不像Java那么方便，本文分别介绍了连接三种典型的数据库的驱动以及连接方
【Go】sqlite3包配置和使用
weixin_44697562的博客
04-08 3338
系统：Win10 IDE：VsCode 1 初始化mod 在项目中先初始化mod(已经初始化过则忽略)，打开终端(快捷键Ctrl+Shift+~)执行go mod init xxx（xxx为文件夹名）。 2 获取sqlite3 在golang官网的pkg搜索sqlite3，搜索到的第一个包，复制地址github.com/mattn/go-sqlite3； 回到终端，输入go get -u github.com/mattn/go-sqlite3,go get -u命令会将项目中的包升级到最新的次要版本或者.
sqlite 数据库数据同步
CAir2的专栏
02-22 5360
sqlite 有没有类似mysql的功能在两个库或者多个库之间进行数据同步呢？当然是可以的。 1，安装Sqlite Expert 2，打开数据库A,然后Attach 数据库B 3，打开之后我们可以看到数据库A的表以及带有数据库B前缀的表 4.将两个数据库A,B的数据进行同步 ...
sqlite内存数据库和文件数据库的同步
热门推荐
小麒麟的成长之路
06-14 2万+
由于sqlite对多进程操作支持效果不太理想，在项目中，为了避免频繁读写 文件数据库带来的性能损耗，我们可以采用操作sqlite内存数据库，并将内存数据库定时同步到文件数据库中的方法。 实现思路如下： 1、创建文件数据库； 2、创建内存数据库（文件数据库、内存数据库的内幕表结构需要一致）； 3、在内存数据库中attach文件数据库，这样可以保证文件数据库中的内容在内存数据库中可见； 4、
sqlite内存数据库和文件数据库的同步[转]
weixin_30379973的博客
06-08 618
由于sqlite对多进程操作支持效果不太理想，在项目中，为了避免频繁读写 文件数据库带来的性能损耗，我们可以采用操作sqlite内存数据库，并将内存数据库定时同步到文件数据库中的方法。 实现思路如下： 1、创建文件数据库； 2、创建内存数据库（文件数据库、内存数据库的内幕表结构需要一致）； 3、在内存数据库中attach文件数据库，这样可以保证文件数据库中的...
如果我想实现sqlite的文件同步和分发，以实现高可用，怎么设计
最新发布
06-10
要实现SQLite的文件同步和分发，以实现高可用性，可以采用以下设计方法： 1. 主从复制：在一个节点上部署SQLite数据库，其他节点通过主从复制的方式将主节点的SQLite文件同步到本地，从而实现数据的备份和高可用性。当主节点发生故障时，可以通过手动或自动切换的方式将一个从节点提升为主节点，从而保证服务的连续性和可用性。 2. 数据库集群：使用专业的数据库集群管理软件，如MySQL Cluster、PostgreSQL等，将多个节点上的SQLite数据库组成一个分布式数据库集群，实现数据的自动备份、负载均衡、故障转移等功能，以提高系统的可用性和性能。 3. 分布式文件系统：使用分布式文件系统，如GlusterFS、Ceph等，将SQLite数据库文件分布在多个节点上，实现数据的自动备份和故障转移。在需要访问SQLite数据库时，客户端可以通过分布式文件系统的接口访问任何一个节点上的数据库，从而实现高可用性和性能。 需要注意的是，不同的设计方案具有不同的优缺点，需要根据具体的业务需求和系统环境选择最合适的方案。同时，为了保证数据的一致性和可靠性，需要对数据同步和分发进行严格的测试和验证，并采用合适的监控和报警机制来及时发现和处理故障。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值