python批量更新数据库_python – sqlalchemy批量更新性能问题

我需要在文件中接收的数据周期性地增加列中的值.该表具有> 40万行.到目前为止,我所有的尝试都导致非常差的表现.

我写了一个反映我的要求的实验：

#create table

engine = create_engine('sqlite:///bulk_update.db', echo=False)

metadata = MetaData()

sometable = Table('sometable', metadata,

Column('id', Integer, Sequence('sometable_id_seq'), primary_key=True),

Column('column1', Integer),

Column('column2', Integer),

)

sometable.create(engine, checkfirst=True)

#initial population

conn = engine.connect()

nr_of_rows = 50000

insert_data = [ { 'column1': i, 'column2' : 0 } for i in range(1, nr_of_rows)]

result = conn.execute(sometable.insert(), insert_data)

#update

update_data = [ {'col1' : i, '_increment': randint(1, 500)} for i in range(1, nr_of_rows)]

print "nr_of_rows", nr_of_rows

print "start time : " + str(datetime.time(datetime.now()))

stmt = sometable.update().\

where(sometable.c.column1 == bindparam('col1')).\

values({sometable.c.column2 : sometable.c.column2 + bindparam('_increment')})

conn.execute(stmt, update_data)

print "end time : " + str(datetime.time(datetime.now()))

我得到的时间是这些：

nr_of_rows 10000

start time : 10:29:01.753938

end time : 10:29:16.247651

nr_of_rows 50000

start time : 10:30:35.236852

end time : 10:36:39.070423

所以做一个40万行的行将需要太长时间.

我是sqlalchemy的新手,但我做了很多文档阅读,我只是不明白我做错了什么.

提前致谢！