IBM DB2 大数据处理

本文介绍了在IBM DB2中处理大数据的一些方法和优化策略。包括使用import命令清空表、利用not logged initially选项、数据转移加载优化、事务日志管理和大数据存储查询优化等。在面对大量数据删除时,建议采用update隔离数据后再进行删除,以提高效率。此外,针对查询性能,提出了避免join、使用索引、优化查询条件和使用分区等建议。
摘要由CSDN通过智能技术生成

(一)DB2删除大数据量表方法http://blog.csdn.net/cuiran/article/details/7105357

DB2不支持truncate语句,当用delete from table时候,会很慢很慢,笔者 做过一些测试对于数据量在百万上的,很慢。故找了几种解决办法:
第一种:
在D 盘建一个empty.del文件。然后通过import命令import from empty.del of del replace into [table_name]来清空表中的数据并重组表空间。
效率很快
第二种:
在建表时加选项not logged initially ,当清空表时通过alter table [name] activate not logged initially with empty table 。

3、

export to test.ixf of ixf messages log.txt select * from test where 1=2
import from test.ixf of ixf messages log1.txt replace into test

 

 

(二)数据转移【DB2中插入数据一般LOAD最快,其次是IMPORT,最后是INSERT。因为PROCEDURE中不能使用LOAD和IMPORT语句,所以在这里我只谈INSERT。】

1、Load

2、将写入的时候不记录日志。【INSERT的时候要考虑加快速度,你可以此表的日志功能取消,并且INSERT的时候不要一条一条记录去插入,可以一次同时插入几条或者几百条数据。】

3、import可以加commitcount

4、不相同的库可以考虑用datastage等工具

5、db2move时系统虽然会自动建表,但是也仅限于表,表上的视图和索引还需要自行创建

6、db2move是DB2数据转移命令,用于不同操作系统之间(如linux和windows)的数据转移.可以先用db2move export将数据导出,然后在另一个DB2里用db2move import或db2move load导入数据.

 

 
(三)数据更新http://www.17ext.com/answer/70176.aspx
1、大数据量时尽量少用update,delete之后insert会快很多 【在db2中能够不用update的尽量不用,效率太低了!】
  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值