(注:此工具sqluldr2来自网络,可以将数据以csv、txt格式导出,适用于大批量数据的导出,导出速度快)
一、软件下载地址
最新软件下载地址:http://www.anysql.net/software/sqluldr.zip
早期源码下载:http://www.anysql.net/software/ociuldr.c
下载完sqluldr解压后,文件夹内容如下:
sqluldr2.exe 用于32位windows平台;
sqluldr2_linux32_10204.bin
适用于linux32位操作系统;
sqluldr2_linux64_10204.bin
适用于linux64位操作系统;
sqluldr264.exe 用于64位windows平台。
下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。
二、sqluldr2 使用方法
1、首先将sqluldr2.exe复制到执行目录下,即可开始使用
2、查看help 帮助
3、执行数据导出命令
3.1、常规导出
sqluldr2 test/test@127.0.1.1/orcl query="select * from
temp_001" head=yes file=d:\tmp001.csv
说明:head=yes 表示输出表头
3.2、使用sql参数
sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes
file=d:\tmp001.csv
test_sql的内容为:
select * from temp_001
3.3、使用log参数
当集成sqluldr2在脚本中时,就希望屏蔽上不输出这些信息,但又希望这些信息能保留,这时可以用“LOG”选项来指定日志文件名。
sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes
file=d:\tmp001.csv log=d:\tmp001.log
3.4、使用 table 参数
当使用 table
参数时,在目录下会生成对应的ctl控制文件,如下语句会生成temp_001_sqlldr.ctl文件。
sqluldr2 test/test@127.0.1.1/orcl query="select * from
temp_001" table=temp_001 head=yes file=d:\tmp001.csv
生成的控制文件temp_001_sqlldr.ctl的内容如下:
4、主要参数说明
Field 分隔符 指定字段分隔符,默认为逗号
record 分隔符
指定记录分隔符,默认为回车换行,Windows下的换行
quote 引号符
指定非数字字段前后的引号符
例如现在要改变默认的字段分隔符,用“#”来分隔记录,导出的命令如下所示:
sqluldr2 test/test sql=tmp.sql
field=#
在指定分隔符时,可以用字符的ASCII代码(0xXX,大写的XX为16进制的ASCII码值)来指定一个字符,常用的字符的ASCII代码如下:
回车=0x0d,换行=0x0a,TAB键=0x09,|=0x7c,&=0x26,双引号=0x22,单引号=0x27
在选择分隔符时,一定不能选择会在字段值中出现的字符组合,如常见的单词等,很多次导入时报错,回过头来找原因时,都发现是因为分隔符出现在字段值中了。
三、sqlldr 使用方法
sqlldr工具可以将文本数据导入到数据库表中,
1、查看sqlldr 的帮助文档
2、创建测试文件
在D盘根目录下创建测试文件tmp_insert.txt ,其内容如下:
PROD_ID,ACC_NUM
18283918,18762535162
12361527,18482762831
3、创建控制文件tmp_insert01.ctl
内容如下:
options(direct=true,errors=10000000,skip=1)
load data
characterset zhs16gbk
into table temp_001 truncate
fields terminated by ',' optionally enclosed by '"'
trailing nullcols
(
prod_id "trim(:prod_id)",
acc_num "trim(:acc_num)"
)
参数说明:
characterset :字符集, 一般使用字符集 AL32UTF8,如果出现中文字符集乱码时,改成
ZHS16GBK。
fields terminated by 'string':文本列分隔符。当为tab键时,改成'\t',或者
X'09';空格分隔符 whitespace,换行分隔符 '\n' 或者 X'0A';回车分隔符 '\r' 或者
X'0D';默认为'\t'。
optionally enclosed by 'char':字段包括符。当为 ' ' 时,不把字段包括在任何引号符号中;当为
"'" 时,字段包括在单引号中;当为'"'时,字段在包括双引号中;默认不使用引用符。
fields escaped by 'char':转义字符,默认为'\'。
trailing nullcols:表字段没有对应的值时,允许为空。
insert:为缺省方式,在数据装载开始时要求表为空;
append:在表中追加新记录 ;
replace:删除旧记录,替换成新装载的记录 ;
truncate:先清空表,再添加记录;
skip=1 :表示插入数据时,跳过第一行(标题),从第二行开始导入;
4、执行数据导入处理
sqlldr test/test@127.0.1.1/orcl data=d:\tmp_insert.txt
control=d:\tmp_insert01.ctl log=d:\tmp_insert01.log
bad=d:\tmp_insert01.bad
注意:在数据导入数据库表后,查询表数据时,会发现最后一个字段的数据中含有类似空格的字符,其实不是空格,是回车换行符,通过replace函数将其替换掉即可,如下红色部分处理
options(direct=true,errors=10000000,skip=1)
load data
characterset zhs16gbk
into table temp_001 truncate
fields terminated by ',' optionally enclosed by '"'
trailing nullcols
(
prod_id char(32)
"trim(:prod_id)",
acc_num char(20)
"replace(:acc_num,chr(13),'')"
)