java sqlite 批量添加数据_java – 优化批量插入,SQLite

我正在使用不同的缓冲区大小插入本地SQLite DB,并发现当缓冲区大小为10,000时,插入10,000,000行数据需要将近8分钟.换句话说,它需要1,000次写入来存储所有内容.

存储10,000,000的8分钟似乎有点太长(或者是吗?)

以下任何一项都可以进行优化以提高速度吗?请注意,插入的数据是随机的字符集合.

public int flush() throws SQLException {

String sql = "insert into datastore values(?,?,?,?);";

PreparedStatement prep = con.prepareStatement(sql);

for (DatastoreElement e : content) { // content is 10,000 elements long

_KVPair kvp = e.getKvp();

prep.setInt(1, e.getMetaHash());

prep.setInt(2, kvp.hashCode());

prep.setString(3, kvp.getKey());

prep.setString(4, kvp.getValue());

prep.addBatch();

}

int[] updateCounts = prep.executeBatch();

con.commit();

return errorsWhileInserting(updateCounts);

}

创建表时,通过完成

statement.executeUpdate("create table datastore

(meta_hash INTEGER," +

"kv_hash INTEGER," +

"key TEXT," +

"value TEXT);");

可以进一步优化上述任何一项吗?

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Python中使用SQLite进行批量插入数据可以通过以下步骤实现: 1. 首先,确保已经安装了Python的SQLite模块,可以使用`pip install sqlite3`命令进行安装。 2. 导入SQLite模块:`import sqlite3` 3. 连接到SQLite数据库:`conn = sqlite3.connect('database.db')`,其中'database.db'是数据库文件的名称,如果不存在则会创建一个新的数据库文件。 4. 创建一个游标对象:`cursor = conn.cursor()` 5. 定义插入数据的SQL语句:`sql = "INSERT INTO table_name (column1, column2, ...) VALUES (?, ?, ...)"`,其中table_name是表名,column1、column2等是表的列名。 6. 准备要插入数据,以列表的形式存储:`data = [(value1, value2, ...), (value1, value2, ...), ...]` 7. 执行批量插入操作:`cursor.executemany(sql, data)` 8. 提交事务:`conn.commit()` 9. 关闭游标和数据库连接:`cursor.close()`和`conn.close()` 下面是一个示例代码: ```python import sqlite3 # 连接到SQLite数据库 conn = sqlite3.connect('database.db') cursor = conn.cursor() # 定义插入数据的SQL语句 sql = "INSERT INTO students (name, age) VALUES (?, ?)" # 准备要插入数据 data = [('Alice', 20), ('Bob', 22), ('Charlie', 21)] # 执行批量插入操作 cursor.executemany(sql, data) # 提交事务 conn.commit() # 关闭游标和数据库连接 cursor.close() conn.close() ``` 请注意,上述示例中的表名为`students`,列名为`name`和`age`,你需要根据自己的数据库表结构进行相应的修改。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值