sqluldr2 usage

Oracle数据导出工具sqluldr2可以将数据以csv、txt等文件格式导出，适用于大批量数据的导出，导出速度非常快，导出后可以使用Oracle SQL Loader工具将数据导入到数据库中。下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。

一、软件下载地址

最新软件下载地址：http://www.anysql.net/software/sqluldr.zip

早期源码下载：http://www.anysql.net/software/ociuldr.c

下载完sqluldr解压后，文件夹内容如下：

sqluldr2.exe  用于32位windows平台；  

sqluldr2_linux32_10204.bin  适用于linux32位操作系统；

sqluldr2_linux64_10204.bin  适用于linux64位操作系统；

sqluldr264.exe   用于64位windows平台。

文件内容如下图所示：

二、sqluldr2 使用方法

1、首先将sqluldr2.exe复制到执行目录下，即可开始使用

2、查看help 帮助

3、执行数据导出命令

3.1、常规导出

sqluldr2 test/test@127.0.1.1/orcl query="select * from temp_001" head=yes file=d:\tmp001.csv

说明：head=yes   表示输出表头

3.2、使用sql参数

sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes file=d:\tmp001.csv

test_sql的内容为：

select * from temp_001

3.3、使用log参数

当集成sqluldr2在脚本中时，就希望屏蔽上不输出这些信息，但又希望这些信息能保留，这时可以用“LOG”选项来指定日志文件名。

sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes file=d:\tmp001.csv log=+d:\tmp001.log

3.4、使用 table 参数

当使用 table 参数时，在目录下会生成对应的ctl控制文件，如下语句会生成temp_001_sqlldr.ctl文件。

sqluldr2 test/test@127.0.1.1/orcl query="select * from temp_001" table=temp_001 head=yes file=d:\tmp001.csv

生成的控制文件temp_001_sqlldr.ctl的内容如下：

4、主要参数说明

Field  分隔符  指定字段分隔符，默认为逗号  

record 分隔符  指定记录分隔符，默认为回车换行，Windows下的换行 

quote  引号符  指定非数字字段前后的引号符

例如现在要改变默认的字段分隔符，用“#”来分隔记录，导出的命令如下所示：

sqluldr2  test/test sql=tmp.sql field=# 

在指定分隔符时，可以用字符的ASCII代码（0xXX，大写的XX为16进制的ASCII码值）来指定一个字符，常用的字符的ASCII代码如下：

回车=0x0d，换行=0x0a，TAB键=0x09，|=0x7c，&=0x26，双引号=0x22，单引号=0x27

在选择分隔符时，一定不能选择会在字段值中出现的字符组合，如常见的单词等，很多次导入时报错，回过头来找原因时，都发现是因为分隔符出现在字段值中了。

三、sqlldr 使用方法

sqlldr工具可以将文本数据导入到数据库表中，

1、查看sqlldr 的帮助文档

2、创建测试文件

在D盘根目录下创建测试文件tmp_insert.txt ，其内容如下：

PROD_ID,ACC_NUM

18283918,18762535162

12361527,18482762831

3、创建控制文件tmp_insert01.ctl

内容如下：

options(direct=true,errors=10000000,skip=1) 

load data 

characterset zhs16gbk

into table temp_001 truncate

fields terminated by ',' optionally enclosed by '"'

trailing nullcols

( 

  prod_id   "trim(:prod_id)",

  acc_num "trim(:acc_num)"

)

参数说明：

characterset ：字符集， 一般使用字符集 AL32UTF8，如果出现中文字符集乱码时，改成 ZHS16GBK。

fields terminated by 'string'：文本列分隔符。当为tab键时，改成'\t'，或者 X'09'；空格分隔符 whitespace，换行分隔符 '\n' 或者 X'0A'；回车分隔符 '\r' 或者 X'0D'；默认为'\t'。

optionally enclosed by 'char'：字段包括符。当为 ' ' 时，不把字段包括在任何引号符号中；当为 "'" 时，字段包括在单引号中；当为'"'时，字段在包括双引号中；默认不使用引用符。

fields escaped by 'char'：转义字符，默认为'\'。

trailing nullcols：表字段没有对应的值时，允许为空。

insert：为缺省方式，在数据装载开始时要求表为空；

append：在表中追加新记录  ；

replace：删除旧记录，替换成新装载的记录 ；

truncate：先清空表，再添加记录；

skip=1 ：表示插入数据时，跳过第一行(标题)，从第二行开始导入；

4、执行数据导入处理

sqlldr test/test@127.0.1.1/orcl data=d:\tmp_insert.txt control=d:\tmp_insert01.ctl log=d:\tmp_insert01.log bad=d:\tmp_insert01.bad

注意：在数据导入数据库表后，查询表数据时，会发现最后一个字段的数据中含有类似空格的字符，其实不是空格，是回车换行符，通过replace函数将其替换掉即可，如下红色部分处理

options(direct=true,errors=10000000,skip=1) 

load data 

characterset zhs16gbk

into table temp_001 truncate

fields terminated by ',' optionally enclosed by '"'

trailing nullcols

( 

  prod_id  char(32)  "trim(:prod_id)",

  acc_num  char(20)  "replace(:acc_num,chr(13),'')"

)

5、支持定义的数据类型

可以定义14种数据类型：

CHAR

DATE

DECIMAL EXTERNAL

DECIMAL

DOUBLE

FLOAT

FLOAT EXTERNAL

GRAPHIC EXTERNAL

INTEGER

INTEGER EXTERNAL

SMALLINT

VARCHAR

VARGRAPHIC

a.字符类型数据

CHAR[ (length)] [delimiter]

length缺省为 1.

b.日期类型数据

DATE [ ( length)]['date_format' [delimiter]

使用to_date函数来限制。

c.字符格式中的十进制

DECIMAL EXTERNAL [(length)] [delimiter]

用于常规格式的十进制数（不是二进制=> 一个位等于一个bit）。

d.压缩十进制格式数据

DECIMAL （digtial [,precision]）

e.双精度符点二进制

DOUBLE

f.普通符点二进制

FLOAT

g.字符格式符点数

FLOAT EXTERNAL [ (length) ] [delimiter]

h.双字节字符串数据

GRAPHIC [ (legth)]

i.双字节字符串数据

GRAPHIC EXTERNAL[ (legth)]

j.常规全字二进制整数

INTEGER

k.字符格式整数

INTEGER EXTERNAL

l.常规全字二进制数据

SMALLINT

m.可变长度字符串

VARCHAR

n.可变双字节字符串数据

VARGRAPHIC

6、常见错误示例
SQL*Loader-601: For INSERT option, table must be empty.
这时需要，更改为追加(append)方式加载数据。

创建控制文件tmp_insert01.ctl，内容如下：
OPTIONS(DIRECT=TRUE,ERRORS=10000000,skip=1)
LOAD DATA
--INFILE 'd:\tmp_insert.txt'
CHARACTERSET AL32UTF8
APPEND INTO TABLE TEMP_001
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
  PROD_ID       "TRIM(:PROD_ID)",
  ACC_NUM     "TRIM(:ACC_NUM)"
)