sqlite3数据插入耗时问题

最新推荐文章于 2021-07-11 09:17:02 发布
最新推荐文章于 2021-07-11 09:17:02 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： android开发 文章标签： android Android ANDROID SQLite3 sqlite3 Sqlite3 数据库操作缓慢
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyfadd85/article/details/8524225
版权
在Android开发中，遇到sqlite3单条记录插入耗时10-30ms的问题，由于每次插入前有查询操作，大量数据操作效率低下。通过研究发现，这是由于Android的数据库事务处理机制导致的。解决方案是使用数据库事务处理，如在数据插入前调用beginTransaction()，在循环插入后使用setTransactionSuccessful()标记事务成功，最后调用endTransaction()结束事务，以提高批量插入的效率。
摘要由CSDN通过智能技术生成

今天在写一个工程时，发现sqlite使用query的insertOrThrow记录插入接口时发现，单条记录插入时间在10-30ms之间，插入操作中有查询数据库操作（判重），如此上千条数据操作时间岂不亚历山大，google后发现android的数据库事务处理机制导致的，对于批量的上百条记录插入、删除、修改操作，在批量开始时要启动事务，完毕后提交此次事务并结束该事务：

解决方法：

添加事务处理，最好上百条数据库批量操作就使用此方法

//数据插入操作之前

最低0.47元/天 解锁文章
lyfadd85
关注
专栏目录
Python使用SQLite插入大量数据耗时问题
zxg_1991的专栏
12-22 8394
前言使用Python爬虫代理IP时，最先使用了sqlite作为存储ip数据库，sqlite简单、灵活、轻量、开源，和文件系统一样。而当大量插入爬取的数据时，出现了严重的耗时，查看一起资料后，发现：sqlite在每条insert都使用commit的时候，就相当于每次访问时都要打开一次文件，从而引起了大量的I/O操作，耗时严重。
解决sqlite3插入数据很慢的问题
热门推荐
令狐少侠
04-14 1万+
初用sqlite3插入数据时，插入每条数据大概需要100ms左右。如果是批量导入，可以引进事物提高速度。但是假设你的业务是每间隔几秒插入几条数据，显然100ms是不能容许的。解决办法是，在调用sqlite3_open函数后添加下面一行代码：     sqlite3_exec(db, "PRAGMA synchronous = OFF; ", 0,0,0);     上面的解决办法貌似治标不治本
sqlite3插入数据效率问题
coderlife的专栏
02-22 1697
今天使用sqlite做插入数据，测试所耗时间。发现批量插入1000条数据居然用了5077毫秒，这个效率简直无法接收。仔细分析，不难发现，一定是每插入一条记录就更新一次数据库文件，频繁的文件操作导致效率问题。通过查看sqlite手册，发现我的猜测是正确的。原来，sqlite默认情况下每执行一条语句就是一个事务，因此，上面的操作，每插入一条记录，就会操作一次数据文件。所以我们需要显示的进行事务处理：
SQLite不同插入方法的效率对比测试
weixin_30814329的博客
03-26 222
综合对比之后，决定采用SQLite数据库存储计算结果文件。SQLite中的插入是较为耗时的，不同的插入方式所花费的时间可能会有天壤之别。几种插入方式可参考博客http://www.cnblogs.com/5211314jackrose/p/5817764.htmlSQLite应用之实例代码，本文对几种方法进行了时间上的测试。 本人电脑为win7的64位操作系统，32g内存4核处理器，为了...
android中SQLite数据库中用insert同时插入多条记录的方法和效率比较
12-11
android中SQLite数据库中用insert同时插入多条记录的方法和效率比较
C#/.Net 中快速批量给SQLite数据库插入测试数据
09-03
在C#/.Net环境中，对SQLite数据库进行快速批量插入测试数据是常见的开发需求，尤其是在测试、性能优化或者数据初始化时。下面将详细讲解如何利用C#/.Net的特性以及SQLite数据库API来实现这一目标。 首先，SQLite是...
Python操作sqlite3快速、安全插入数据（防注入）的实例
09-10
本实例将探讨如何在Python中使用sqlite3模块进行快速且安全的数据插入，以防止SQL注入攻击。 首先，我们需要创建一个表格`userinfo`。这可以通过执行SQL语句来完成，如下面的代码所示： ```python cursor.execute...
SQLite解决插入大量数据速度慢的问题
T1mzhou的博客
07-11 3380
SQLite解决插入大量数据速度慢的问题 背景 在重构公司项目中发现，公司以前代码中将大量数据插入SQLite数据库，速度非常慢，几千条居然需要将近1分钟； 解决方法 知识背景 事务（Transaction）是一个对数据库执行工作单元。事务（Transaction）是以逻辑顺序完成的工作单位或序列，可以是由用户手动操作完成，也可以是由某种数据库程序自动完成。事务（Transaction）是指一个或多个更改数据库的扩展。例如，如果您正在创建一个记录或者更新一个记录或者从表中删除一个记录，那么您正在该表上执行事
SQLite3调测优化
chenliang0224的专栏
07-16 862
非常好的一篇博客，详见：https://blog.csdn.net/lijinqi1987/article/details/51852721 首先，建立数据库 rc = sqlite3_exec(db, "create table if not exists testinfo (id integer primary key, age integer, height text, weight ...
android sqlite insertorthrow,GreenDao与Room对比以及Android SQLite API优化
weixin_35809747的博客
05-27 740
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？主流库目前Android主流的ORM相关库可以分为两类，一类是我们熟知的基于SQLite并进行一系列封装和优化的框架，比如GreenDao、Room、DBFlow等；另一类是NoSql数据库(注意这一类是数据库，是SQLite的替代品)，比如Realm。NoSqlNoSql database也可以称为no relatio...
android之SQLite数据库insert操作
移动编程
08-15 809
原型: long android.database.sqlite.SQLiteDatabase.insert(String table, String nullColumnHack, ContentValues values) 参数介绍： table: 要插入数据的表的名称 nullColumnHack：当values参数为空或者里面没有内容的时候，我们insert是会失败的（底层数据...
跟我学Android之十三 SQLite数据库操作
weixin_30555125的博客
07-13 197
本章内容 第1节 SQLite数据库概述 第2节 SQLite建库建表 第3节管理数据库连接 第4节 操作数据库数据 第5节 数据绑定 本章目标 掌握SQLite数据的基本特点与工具使用。 熟练掌握SQLite建库建表的方法。 熟...
Android之Sqlite开发中可能被你忽视的细节
Elven_Shi的专栏
10-28 965
概述 Sqlite是在Android日常开发中使用的还是比较频繁的。有的同学可能会说：“我平时用的就不多”。一种情况是你用的第三方的开源库比如realm，或者是ORM型的GreenDao等，甚至有的还用了key-value形式的Snappy DB。另一种情况确实是开发中数据库用的少，但是这种情况很少。我们用Sqlite可能很熟练，但是对于一些细节，可能做了很长时间开发的同学有好多细节的地方还是不
SQLite 基本使用
LZC__的博客
04-24 239
//1基类 import android.content.ContentValues; import android.content.Context; import android.database.Cursor; import android.database.SQLException; import android.database.sqlite.SQLiteDatabase; public...
android sqlite insertorthrow,android-如何将double和float值插入sqlite？
weixin_39650139的博客
05-27 272
android-如何将double和float值插入sqlite？以下是我的数据库创建代码。@Overridepublic void onCreate(SQLiteDatabase db) {db.execSQL("CREATE TABLE " + TABLE_NAME + " (" +_ID + " INTEGER PRIMARY KEY AUTOINCREMENT, " +TIME + " I...
sqlite 快速插入几百万条数据
最新发布
09-20
要在SQLite数据库中快速插入几百万条数据，可以考虑以下几种方法： 1. 使用事务（Transaction）：通过将多个插入操作封装在一个事务中，可以显着提高插入大量数据的速度。在开始事务之前，可以将数据库设置为批量插入模式（PRAGMA synchronous = OFF; PRAGMA journal_mode = OFF;）。然后，将所有插入操作放在同一个事务块中，最后提交事务。这样可以减少磁盘I/O和事务日志写入的次数，加快插入速度。 2. 使用批量插入语句：SQLite支持使用INSERT语句一次插入多个记录。可以将多个插入值放在一个INSERT语句中，通过使用多个括号或UNION ALL操作符来实现。例如，INSERT INTO table_name (column1, column2) VALUES (value1, value2), (value3, value4), ...; 使用批量插入语句可以减少SQL语句执行的次数，提高插入速度。 3. 使用预编译语句：编译和执行SQL语句是耗时的过程，特别是对于大量的插入操作。可以使用预编译语句（Prepared Statement）来解决这个问题。预编译语句将SQL语句预先编译好，并通过绑定参数来执行插入操作。这样可以避免重复编译SQL语句，提高插入速度。 4. 关闭索引和约束：在大量数据插入之前，可以暂时禁用表的索引和约束（如FOREIGN KEY约束），以加快插入速度。在插入完成后，再重新启用索引和约束。 虽然以上方法可以提高插入速度，但插入大量数据可能仍然需要一定的时间。如果数据量很大，可以考虑将数据分批次插入，每次插入一部分数据，以减少插入操作的负载和提高稳定性。此外，可以优化数据表的设计和索引，调整系统和硬件配置，以提高整体性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值