优化批量更新，新增SQL操作

今天碰到一个恶心的问题。

insert into table1(field1, field2....., fieldx)

select field1,field2,....fieldx from .....

 

我用了这种形式的批量更新。在小量数据库上运行一点问题都没有，但是当我在一个大数据量的数据库上跑时，各种问题都出现了。

在这个sql的子查询中

select field1,field2,....fieldx from .....会返回一个1000w的结果集。

 

一开始运行速度奇慢无比，等了足足3个小时都没有运行完。我开始以为是由于那个复杂查询造成的。但是发现数据库这时候压根都连不上。我就去问了dba,dba发现原来是log archive把磁盘空间用完了，让我清除之后再试。结果还是同样问题。

 

后来就开始google查询资料。结果发现这个原因是因为logging的设置。大量的资料都说明使用archive模式，会造成批量更新的效率急剧下降。于是参考网上资料，我修改了logging属性，并且用了一个很特殊的Insert tips

insert /* +append */ into table1 () select ... field. from ...

 

除此之外，我还发现最好的办法是先disable索引，在批量操作完了之后，enable索引。

 

用了这两招后，还是不行，这时候直接就报表空间扩展不够的错误。我增加了表的扩展空间，再试，效果不错。所有的问题不在出现了。

 

我不是数据库专家，希望有经验的人多给指导。