oracle大数据量的导入和导出

在oracle中批量数据的导出是借助sqlplus的spool来实现的。批量数据的导入是通过sqlload来实现的。
大量数据的导出部分如下:
/***************************
 *  sql脚本部分 demo.sql begin
 **************************/
/**************************
 * @author meconsea
 * @date 20050413
 * @msn meconsea@hotmail.com
 * @Email meconsea@163.com
 **************************/

//##--markup html:html格式输出,缺省为off

//##--autocommit:自动提交insert、update、delete带来的记录改变,缺省为off

//##--define:识别命令中的变量前缀符,缺省为on,也就是'&',碰到变量前缀符,后面的字符串作为变量处理.

set colsep' ';                       //##--域输出分隔符

set echo off;                            //##--显示start启动的脚本中的每个sql命令,缺省为on

set feedback off;                        //##--回显本次sql命令处理的记录条数,缺省为on      

set heading off;                         //##--输出域标题,缺省为on

set pagesize 0;                          //##--输出每页行数,缺省为24,为了避免分页,可设定为0。

set linesize 80;                         //##--输出一行字符个数,缺省为80

set numwidth 12;                         //##--输出number类型域长度,缺省为10

set termout off;                         //##--显示脚本中的命令的执行结果,缺省为on

set timing off;      //##--显示每条sql命令的耗时,缺省为off

set trimout on;                          //##--去除标准输出每行的拖尾空格,缺省为off

set trimspool on;                        //##--去除重定向(spool)输出每行的拖尾空格,缺省为off

spool C:/data/dmczry.txt;               

select trim(czry_dm),trim(swjg_dm),trim(czry_mc) from dm_czry;

spool off;

EOF

/***********************
 * demo.sql end
 ***********************/
 
在数据导入的时候采用sqlload来调用,在该部分调用的时候用java来调用sqlload。
sqlload包括ctl控制文件。例如:
/*********************
 * meconsea  ctl
 ********************/
 load data
 infile 'C:/data/dmczry.txt'
 replace into table DM_CZRY
 fields terminated by X'09'
 (CZRY_DM,SWJG_DM,CZRY_MC)
 
/********************
 * end
 * 注释:里面的replace可以改为append
 *******************/
 
 java程序如下:
在java程序用可以根据需求写成一个bat文件。 把数据库的配置和文件的路径写到一个properties
文件。
/*************************
 * ide properties
 ************************/
Dserver=test/test@SJJZ
sqlldr=D://oracle//ora92//bin//SQLLDR.EXE

ctldmczry=C://data//ctl//dmczry.ctl
txtdmczry=C://data//dmczry.txt

写个PropertyBean.java来操作properties文件。(偷懒不写了!)
用DmCzry.java来把记录导入db中。部分代码如下:

/****************************
 * 代码摘要
 *
 ***************************/
 ..............
 sqlldr = pb.getSqlldr();
 txt = pb.getTxtdmczry();
 ctl = pb.getCtldmczry();
 Dserver= pb.getDserver();
 
 
 Process processCmd = Runtime.getRuntime().exec(sqlldr+" "+cmdStr);
 .............

java代码中调用执行shell脚本sqlldr导数与使用sqlplus在shell调用执行存储过程。 linux环境中有2个dba的用户:oracle、erm 还有1个web用户:erm 在linux环境中,这三个用户都可以直接在任意目录下执行该shell脚本,可是在java代码中调用shell脚本时,报了如下4个错误: 1、sqlldr: command not found 2、sqlplus: command not found 3、0750: You may need to set ORACLE_HOME to your Oracle software directory 4、Message 2100 not found; No message file for product=RDBMS, facility=ULMessage 2100 not found; No message file for product=RDBMS, facility=UL$ 检查了dba用户和web用户下关于oracle的所有环境变发现没有问题 (/home/oracle/.profile 与 /home/erm/.profile 环境变文件为隐藏文件需使用 ls -a 命令查看) 在网上查了一遍以后有如下几种处理办法: 1、没有oracle_home目录的执行权限,无法进入到bin目录,使用chmod 755 $oracle_home更改目录权限;使用chmod 755 $oracle_home/lib更改目录权限;对目录$oracle_home/rdbms/mesg目录赋予相应权限;当需要给非oracle用户配置使用sqlldr时,不单需要配置环境变,还需要把相关目录的访问权限赋予该用户。【采用此法测试以后还是出现上面的错误】 2、用sh直接执行shell和在java直接执行shell是有区别的,要在shell文件内增加oracle的环境变即. /home/oracle/.bash_profile 这句话,否则在执行sqlldr会报如下异常: Message 2100 not found; No message file for product=RDBMS...... facility=UL 【采用此法测试以后继续报错,但是这个方法有引导作用,继续往下看】 因为我在linux环境下执行shell脚本sqlldr命令和sqlplus命令是正常执行的,没有任何问题,但是在java代码中调用脚本时却报错,所有排除了其他原因,只可能是环境变的问题, 于是我把oracle的所有环境变直接复制到shell脚本文件中,在java中调用了一下,然后所有问题迎刃而解! 具体代码参看文件内容
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值