python sqlite数据库一对多_python SQLite 数据库提速经验

SQLite 特点是轻巧，依赖少，数据库就一个文件，打包即可提走。最近做一个应用，千万条数据，更新频繁，但处理方式很简单，首先直接用SQLite 处理，结果两分钟可以完成处理一次，这个还是太慢了。下面介绍 SQLite 优化提速的经验。

后来用memory 数据库模式，先从file db 文件读取已保存数据，再把数据保存到memory 的sqlite 数据。

下面是memory 的示例

python code: sqlite memory

import sqlite3

class MySum:

def __init__(self):

self.count = 0

def step(self, value):

self.count += value

def finalize(self):

return self.count

con = sqlite3.connect(":memory:")

con.create_aggregate("mysum", 1, MySum)

cur = con.cursor()

cur.execute("create table test(i)")

cur.execute("insert into test(i) values (1)")

cur.execute("insert into test(i) values (2)")

cur.execute("select mysum(i) from test")

print cur.fetchone()[0]

速度有所提高，1分15秒完成一次小计算。

还是感觉很慢，就用python 的内置数据list、dict来保存中间处理数据。结果很理想，7秒一次小计算。不过占用内存是SQLite memory 的3倍。