原标题:Python 中查询 sqlite3 的一些小技巧
我最近在涉及大量数据处理的项目中频繁使用 sqlite3。我最初的尝试根本不涉及任何数据库,所有的数据都将保存在内存中,包括字典查找、迭代和条件等查询。这很好,但可以放入内存的只有那么多,并且将数据从磁盘重新生成或加载到内存是一个繁琐又耗时的过程。
我决定试一试sqlite3。因为只需打开与数据库的连接,这样可以增加可处理的数据量,并将应用程序的加载时间减少到零。此外,我可以通过 SQL 查询替换很多Python逻辑语句。
我想分享一些关于这次经历的心得和发现。
TL;DR
使用大量操作 (又名 executemany)。
你不需要使用光标 (大部分时间)。
光标可被迭代。
使用上下文管理器。
使用编译指示 (当它有意义)。
推迟索引创建。
使用占位符来插入 python 值。
如果你需要在数据库中一次性插入很多行,那么你真不应该使用 execute。sqlite3 模块提供了批量插入的方式:executemany。
而不是像这样做:
for row in iter_data():
connection.execute('INSERT INTO my_table VALUES (?)', row)
你可以利用这个事实,即 executemany 接受元组的生成器作为参数:
connection.executemany(
<