python与sqlite3_使用python和sqlite3插入的性能

我正在对SQLite3数据库进行大批量插入,并且我试图了解我应该期待什么样的性能而不是我实际看到的.

我的表看起来像这样：

cursor.execute(

"CREATE TABLE tweets(

tweet_hash TEXT PRIMARY KEY ON CONFLICT REPLACE,

tweet_id INTEGER,

tweet_text TEXT)"

)

我的插入看起来像这样：

cursor.executemany("INSERT INTO tweets VALUES (?, ?, ?)", to_write)

其中to_write是元组列表.

目前,数据库中有大约1200万行,插入5万行需要大约16分钟,在2008年的macbook上运行.

这听起来合理,还是有些事情发生了？

解决方法:

据我所知,性能不佳的主要原因是浪费时间来提交许多SQLite事务.该怎么办？

然后删除索引

PRAGMA synchronous = OFF (or NORMAL)

插入N行的块(定义N,尝试N = 5000以启动).

在插入块之前

BEGIN TRANSACTION

插入后做

COMMIT

标签：python,sql,sqlite,sqlite3

来源： https://codeday.me/bug/20190517/1121839.html