Sqlite 插入数据太慢

最新推荐文章于 2022-11-04 17:19:30 发布
最新推荐文章于 2022-11-04 17:19:30 发布
阅读量540 收藏
点赞数

今天要插入10000多条数据进sqlite

我的天  发现好慢

               程序卡崩了

                    查了下 让插入数据放在一个 transaction里就可以搞定



db.beginTransaction


插入数据


db.setTransactionSuccessful();

db.endTransaction();



     成功了~~


 完美！

tobykentrunzhi
关注
Python使用SQLite插入大量数据耗时问题
zxg_1991的专栏
12-22 8397
前言使用Python爬虫代理IP时，最先使用了sqlite作为存储ip数据库，sqlite简单、灵活、轻量、开源，和文件系统一样。而当大量插入爬取的数据时，出现了严重的耗时，查看一起资料后，发现：sqlite在每条insert都使用commit的时候，就相当于每次访问时都要打开一次文件，从而引起了大量的I/O操作，耗时严重。
python多线程访问sqlite3_SQLite3性能优化1-多线程插入或者查询操作方面
weixin_30539747的博客
01-15 1566
先看看总结的结论：A. 由此可见，要想保证线程安全的话，可以有这4种方式：SQLite使用单线程模式，用一个专门的线程访问数据库。SQLite使用单线程模式，用一个线程队列来访问数据库，队列一次只允许一个线程执行，队列里的线程共用一个数据库连接。SQLite使用多线程模式，每个线程创建自己的数据库连接。SQLite使用串行模式，所有线程共用全局的数据库连接。B. 关于数据库连接和数据库事务，以...
SQLITE数据库 UPDATE慢
11-15
SQLITE数据库 UPDATE慢，此为一个实例，供大家！
SQLite插入数据超级慢
阿尔泰野狼的博客
02-20 1268
文章目录前言1. 故事背景2. 问题现象3. 初步分析4. 代码分析5. 深入分析6. 代码修改7. 延伸阅读 前言 对于绝大多数小白类型的人来说，能够从互联网上七拼八凑让程序跑起来，并且实现相关的功能已经很不易了，怎么可能还会关注功能以外的事情呢？这里带你关注一个SQLite插入数据很慢的问题。 1. 故事背景 闲来无事，简单写了一个脚本。功能也很简单，从东方财富网拉取沪市A股的列表，并保存在本地SQLite。 2. 问题现象 通过查资料，七拼八凑一下，很容易的就实现了相关的功能。但是发现虽然总共只有
Sqlite 插入数据慢解决方法
qingflyer的专栏
04-29 1万+
sqlite 插入数据很慢的原因是因为它是已文件的形式存在磁盘中，每次访问时都要打开一次文件，如果对数据进行大量的操作，那时很慢。解决方法是用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。我在没有用事务形式插入4366条数据时用了507.781s，平均每一插入一条数据是116ms,用事务形式，插入只用了391ms，相关很大吧。事务方式：begin; INSERT INTO "table" VALUES ('a', 'b'
SQLite jdbc 插入慢
u014644574的博客
11-04 636
SQLite jdbc
提升SQLite数据插入效率低、速度慢的方法
积累点滴，保持自我
12-11 2898
0 前言 SQLite数据库由于其简单、灵活、轻量、开源，已经被越来越多的被应用到中小型应用中。甚至有人说，SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候，也将SQLite引入进来，以提高数据的结构化程度，并且提高大数据的处理能力（SQLite最高支持2PB大小的数据）。但是最开始，我发现，直接使用SQL语句的插入效率简直低的令人发指的。后来不断查文档、查资料，才发现了一条快速的“数据插入”之路。本文就以插入数据为例，整合网上和资料书中的各种提高SQLit
sqlite插入数据太慢怎么办
最新发布
04-01
2. 使用了太多的触发器和约束：过多的触发器和约束可能会导致插入数据的速度明显降低。请检查您的数据库中是否有过多的触发器和约束，并尝试减少它们的数量。 3. 大量的索引：大量的索引也会降低插入数据的速度。请...
sqlite高性能插入数据
08-27
以下是一些关于如何提高SQLite在插入数据时性能的关键知识点： 1. **批量插入**： - 通过一次性提交多条SQL语句，而不是每插入一条就提交一次，可以显著减少事务处理的开销。例如，使用`BEGIN TRANSACTION`开启...
sqlite3数据存储最多存储多少条数据?达到上限如何处理?_Redis介绍和数据类型及单机版安装...
weixin_39969143的博客
12-08 739
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即mas...
FAG笔记：sqlite插入数据慢的问题
form88的专栏
02-20 239
快速解决问题的办法： 1.插入数据慢的问题最开始以为需要开一个进程来解决，结果搜百度，基本搜不到相关问题。后来又研究了程序、进程、线程的相关知识。 2.后来凭感觉好像一次要插入所有数据，来解决这个问题，所以在百度里搜索，发现有一定效果。 3.再后来缩小定位，直接搜sqlite里面插入多条数据。 4.在CSDNl里面，博客后面的例举相关文章里面发现一条最关火，最好的文章，最终解决了问题。 5.CSD...
SQLite 插入大量数据慢的解决方法
积累点滴，保持自我
12-11 3283
sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打开一次文件，如果对数据进行大量的操作，时间都耗费在I/O操作上，所以很慢。 解决方法是显式使用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。 我在没有显式使用事务形式插入100条数据时用了12.226s；用显式事务形式，插入100条只用了0.172s
Sqlite访问数据库很慢的问题
weixin_30802273的博客
09-12 674
在本地测试的时候,读取和写入数据都很快,但是发布到服务器上去之后,发现读取和写入速度都非常的慢,查询只有几条数据的表,居然要5秒钟时间,这肯定是有问题的. 外事不决问谷歌,原因居然是目录权限问题,因为"SQLite在操作时是需要创建临时文件的",而我只设置了数据库文件为可读写,后来将数据库所在目录的权限改为可读写后,问题果然解决了. 参考链接: http://www.cnblogs.com/...
启用事务操作，解决批量插入或更新sqlite，mssql等数据库耗时问题
qq_38472574的博客
07-29 65
启用事务操作，解决批量插入或更新sqlite，mssql等数据库耗时问题
解决sqlite3插入数据很慢的问题
令狐少侠
04-14 1万+
初用sqlite3插入数据时，插入每条数据大概需要100ms左右。如果是批量导入，可以引进事物提高速度。但是假设你的业务是每间隔几秒插入几条数据，显然100ms是不能容许的。解决办法是，在调用sqlite3_open函数后添加下面一行代码：     sqlite3_exec(db, "PRAGMA synchronous = OFF; ", 0,0,0);     上面的解决办法貌似治标不治本
SQLite解决插入大量数据速度慢的问题
T1mzhou的博客
07-11 3394
SQLite解决插入大量数据速度慢的问题 背景 在重构公司项目中发现，公司以前代码中将大量数据插入SQLite数据库，速度非常慢，几千条居然需要将近1分钟； 解决方法 知识背景 事务（Transaction）是一个对数据库执行工作单元。事务（Transaction）是以逻辑顺序完成的工作单位或序列，可以是由用户手动操作完成，也可以是由某种数据库程序自动完成。事务（Transaction）是指一个或多个更改数据库的扩展。例如，如果您正在创建一个记录或者更新一个记录或者从表中删除一个记录，那么您正在该表上执行事
sqlite数据库对于插入大数据的时候采用事务处理会大大减少插入时间一万条数据三秒插入完成...
ai1314wen的专栏
06-17 366
1   定义要插入的数据  从服务器获取的json字符串   //str3为从服务器获取的json字符串数据 if (str3 != null) { //定义SQlite数据库 ，获取实例化引用 db = dbhelper.getWritableDatabase(); //开启一个事务。如果不提交事务就会自动滚动处理 db.beginTra...
关于sqlite3速度慢的原因解决方法
热门推荐
fripy的专栏
02-26 1万+
    在对sqlite3 insert into 等操作时速度比较慢。     原因是因为它每次插入数据都需要访问一次磁盘，打开磁盘的速度大家可想而知，如果对数据库进行大量的操作，那么速度回很慢。     解决办法用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。     在进行大量的操作前使用如下语句： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值