关于sqlite多线程

这几工作需要,用到sqlite多线程功能,这几天研究了一下,验证了一下结果,供大家参考:


1、如果是SQLITE_OPEN_FULLMUTEX,也就是串行化方式,则对于连接时互斥的,只有一个连接关闭,另外一个连接才能读写


2、如果是SQLITE_OPEN_NOMUTEX,则是多线程模式,对于写是互斥的,但是如果一个连接持续写,另外一个连接是无法写入的,只能是错误或者超时返回。不过一个连接写,多个连接读,是没问题的。windows版本模式是SQLITE_OPEN_NOMUTEX


3、如果要多线程写并发,只有一个办法,就是连接->写->关闭连接,而且需要开启超时sqlite3_busy_timeout,不过这样效率很低,因为一条一条写入的话,利用不上事务


4、sqlite通过事务插入效率还可以,大约就是1000条/秒

 

5、sqlite的数据类型操作非常灵活,可以写入任意自定义类型


6、如果要断电等意外也完全保证数据完整性,PRAGMA synchronous=FULL,对于大数据量提交,性能和synchronous=OFF相差很小。


7、对于大数据量写入,例如一次提交100MB以上的事务,设置cache_size很有必要,默认是例如:PRAGMA cache_size=400000,有时候提交速度会成倍提升。


8、sqlite事务的insert或者update等是很快的,但是commit是很慢的,例如提交200MB的事务,在win7+酷睿T9300+4GB内存+7200转磁盘+10GB的数据库上,commit会花费5分钟左右,在usb3.0的上U盘上,花费大约15分钟,在USB2.0的U盘上,1个半小时后还没有完成(没有等到结果,因为是NTFS格式,造成U盘写入太频繁,产生了坏道,尝试了两个U盘都是如此,格式化为exFAT就没问题)


9、对于commit意外退出,大数据量的时候,例如200MB,下次再次进入的时候,哪怕只是一个select,为了保证数据完整性,sqlite都要经过很长时间(和commit完成时间差不多)的rollback才能返回select结果,如果自作主张删除临时的journal文件,则会造成数据库崩溃。


  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQLite中,数据库连接是串行的,这意味着同一时刻只能有一个线程访问数据库。然而,SQLite提供了一些机制来支持多线程的操作。 首先,可以在SQLite上设置多线程模式。SQLite提供了三种多线程模式:Serialized、Single-thread和Multi-thread。Serialized模式是默认模式,它将所有连接串行化,不支持多线程操作。Single-thread模式允许多个连接,但只能在同一个线程内共享。Multi-thread模式允许多个连接在多个线程内共享,但要确保每个连接在不同的线程内使用,否则会出现并发问题。 其次,SQLite提供了一个名为sqlite3_threadsafe()的函数,可以用来检查当前SQLite库的多线程支持情况。该函数返回0表示SQLite不支持多线程操作,返回1表示支持多线程操作。 对于多线程应用程序,我们需要确保每个线程都有自己的数据库连接,并且在使用连接前,要确保使用同步机制来避免并发访问数据库的问题。常用的同步机制有互斥锁(Mutex)和条件变量(Condition Variable)。互斥锁用于保护对数据库的访问,只有获取到锁的线程才能执行数据库操作;条件变量用于线程之间的通信,可以通过等待条件变量触发来实现线程的同步。 在使用SQLite多线程的过程中,需要注意以下几点: 1. 每个线程都应该有自己的独立数据库连接。 2. 在访问数据库之前,需要获取互斥锁来保护对数据库的访问。 3. 避免在多个线程之间共享数据库连接对象。 4. 在多线程操作中,要注意处理并发访问的问题,避免出现数据竞争和资源争用。 5. 当不再使用数据库连接时,要确保正确关闭连接,释放资源。 总的来说,虽然SQLite是一个轻量级的数据库,但是它也提供了一些机制来支持多线程操作。要正确使用SQLite多线程,需要确保每个线程都有自己的数据库连接,并且使用同步机制来避免并发访问的问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值