informix高性能导入导出数据HPL

--HPL high performance loader
--The HPL consists of the onpload utility, ipload, and the onpload database.
--onpload程序是核心；onpload数据库是配置库，ipload/onpladm都是调用onpload程序的工具
--导入分两种模式高级deluxe和快速express模式；导出不分高级和快速。deluxe -flc / express -fl
--deluxe模式导入数据，避免在express模式下的下面的错误Cannot perform express mode load with rowsize(=3910) > 2016 / Error occured at HPL failpoint: 16110
--经测试：导入数据 11分钟导入160万条数据，速度是10000条/3秒
--查看帮助方式 例如输入部分命令 onpladm 或者 onpladm create job 或者 onpladm run job 就可以显示该命令的帮助




--导入数据；project 就是job组；方便执行；
onpladm create project import_data1 ;
onpladm create job job01 -p import_data1 -d /informix/info/test/thw_par_32_bsc.unl -D niosdb -t thw_par_32_bsc -flc -zD;
onpladm create job job02 -p import_data1 -d /informix/info/test/thw_par_6k_service.unl -D niosdb -t thw_par_6k_service -flc -zD;
onpladm run project import_data1 -fl;
onpladm delete project import_data1;

--导入数据单一的job可以不创建project；单独执行job
onpladm create job job01 -p import_data1 -d /informix/info/test/thw_par_32_bsc.unl -D niosdb -t thw_par_32_bsc -flc -zD;
onpladm run job job01 -fl -l /informix/info/test/log.out
onpladm delete job job01 -fl

--导出数据 -fu
onpladm create project para_modi ;
onpladm create job job01 -d /opt/informix/para_modi.unl -D niosdb -t para_modi -fu -zD
onpladm run job job01 -fu
onpladm list job
onpladm delete job job01 -fu

express mode 注意事项
1、导入的过程会锁表，不能操作
2、有很多限制，但速度较deluxe mode快
3、导入后table 是read only ，需要执行0级备份：可以先修改onconfig中的备份路径为/dev/null；这样就不用备份，只修改read only标记
bash-2.03$ ontape -s -L 0
Archive to tape device '/dev/null' is complete.


错误处理
--ISAM error -197,Partition recently appended to; can't open for write or logging.
需要ontape -s -L 0做一次0级备份才可以读写
--can't delete project active jobs exists!
删除不掉project 或者 job，就使用最后一招删除存放project和job信息的onpload数据库： drop database onpload;


检查deluxe mode下数据是否全部导入？
首先检查有没有 _vio _dia 这样的新table
其次检查下job的log文件：例如下面的
job71.flt
job71.log
job71.rej

输出日志由屏幕到文件中
onpladm create project import_data1 ;
onpladm create job job01 -p import_data1 -d /informix/info/test/bts.unl -D niosdb -t bts -flc -zD ;
onpladm run project import_data1 -fl -l /informix/info/test/out.log;
onpladm delete project import_data1;

--输出日志到log文件 在run job /run project的时候设置 例如：-l /infomrix/info/test/out.log
--下面是输出的日志形式
nios2[/informix/info/test]#more out.log
Connecting to onpload, Please wait...
Successful connection to onpload established
Wed Mar 24 09:04:10 2010

SHMBASE 0xc000000009400000
CLIENTNUM 0x0000000049010000
Session ID 329

Load Database -> niosdb
Load Table -> bts
Device Array -> job01
Record Mapping -> job01
Convert Reject -> /tmp/job01.rej
Filter Reject -> /tmp/job01.flt
Set mode of index idx_bts to filtering
09:04:13 Records Processed -> 10013
09:04:14 Records Processed -> 20026
Reset mode of indexes "informix".idx_bts to original enabled mode

Database Load Completed -- Processed 23635 Records
Records Inserted-> 23635
Detected Errors--&gt 0
Engine Rejected--&gt 0

Wed Mar 24 09:04:14 2010

Job Completed Successfully ... connection closed[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/70612/viewspace-1032277/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/70612/viewspace-1032277/