100万数据载入 sqlldr 能不能再快一点？

setp-1 生成数据文件：

getobject.sql

SELECT a.owner||',"'||a.object_name||'",'||a.object_id||','||to_char(a.created,'yyyy-mm-dd hh24:mi:ss')||','||a.status FROM dba_objects a, (SELECT rownum rn FROM dual connect BY rownum<=23) b; call.sql

SET echo off SET term off SET line 100 pages 0 SET feedback off SET heading off spool C:\oracle\script\ldr_object.csv @C:\oracle\script\getobject.sql spool off SET heading on SET feedback on SET term on SET echo on

step 0初始化环境：

createobject.sql

CREATE TABLE objects ( owner varchar(30), object_name varchar(50), object_id NUMBER, created date, status VARCHAR2(10) ); CREATE INDEX idx_obj_owner_name on objects(owner,object_name);

step1：第一次执行导入

ldr_object.ctl

load data infile ldr_object.csv truncate into table objects fields terminated by "," optionally enclosed by '"' ( owner, object_name, object_id, created date 'yyyy-mm-dd hh24:mi:ss', status "substr(:status,1,5)" )
C:\oracle\script>sqlldr scott/tiger control=ldr_object.ctl errors=10

ldr_object.log

SQL*Loader: Release 10.2.0.1.0 - Production on 星期五 1月 20 02:16:56 2012 Copyright (c) 1982, 2005, Oracle. All rights reserved. 控制文件: ldr_object.ctl 数据文件: ldr_object.csv 错误文件: ldr_object.bad 废弃文件: 未作指定 (可废弃所有记录) 要加载的数: ALL 要跳过的数: 0 允许的错误: 10 绑定数组: 64 行, 最大 256000 字节 继续: 未作指定 所用路径: 常规 表 OBJECTS,已加载从每个逻辑记录 插入选项对此表 TRUNCATE 生效 列名 位置 长度 中止 包装数据类型 ------------------------------ ---------- ----- ---- ---- --------------------- OWNER FIRST * , O (") CHARACTER OBJECT_NAME NEXT * , O (") CHARACTER OBJECT_ID NEXT * , O (") CHARACTER CREATED NEXT * , O (") DATE yyyy-mm-dd hh24:mi:ss STATUS NEXT * , O (") CHARACTER 列的 SQL 串: "substr(:status,1,5)" 表 OBJECTS: 1033298 行 加载成功。 由于数据错误, 0 行 没有加载。 由于所有 WHEN 子句失败, 0 行 没有加载。 由于所有字段都为空的, 0 行 没有加载。 为绑定数组分配的空间: 82560 字节 (64 行) 读取 缓冲区字节数: 1048576 跳过的逻辑记录总数: 0 读取的逻辑记录总数: 1033298 拒绝的逻辑记录总数: 0 废弃的逻辑记录总数: 0 从 星期五 1月 20 02:16:56 2012 开始运行 在 星期五 1月 20 02:19:02 2012 处运行结束 经过时间为: 00: 02: 05.55 CPU 时间为: 00: 00: 10.38

step2: 第二次执行导入

C:\oracle\script>sqlldr scott/tiger control=ldr_object.ctl errors=10 rows=640

.log

SQL*Loader: Release 10.2.0.1.0 - Production on 星期五 1月 20 02:56:28 2012 Copyright (c) 1982, 2005, Oracle. All rights reserved. 控制文件: ldr_object.ctl 数据文件: ldr_object.csv 错误文件: ldr_object.bad 废弃文件: 未作指定 (可废弃所有记录) 要加载的数: ALL 要跳过的数: 0 允许的错误: 10 绑定数组: 640 行, 最大 256000 字节 继续: 未作指定 所用路径: 常规 表 OBJECTS,已加载从每个逻辑记录 插入选项对此表 TRUNCATE 生效 列名 位置 长度 中止 包装数据类型 ------------------------------ ---------- ----- ---- ---- --------------------- OWNER FIRST * , O (") CHARACTER OBJECT_NAME NEXT * , O (") CHARACTER OBJECT_ID NEXT * , O (") CHARACTER CREATED NEXT * , O (") DATE yyyy-mm-dd hh24:mi:ss STATUS NEXT * , O (") CHARACTER 列的 SQL 串: "substr(:status,1,5)" ROWS 参数所用的值已从 640 更改为 198 表 OBJECTS: 1033298 行 加载成功。 由于数据错误, 0 行 没有加载。 由于所有 WHEN 子句失败, 0 行 没有加载。 由于所有字段都为空的, 0 行 没有加载。 为绑定数组分配的空间: 255420 字节 (198 行) 读取 缓冲区字节数: 1048576 跳过的逻辑记录总数: 0 读取的逻辑记录总数: 1033298 拒绝的逻辑记录总数: 0 废弃的逻辑记录总数: 0 从 星期五 1月 20 02:56:28 2012 开始运行 在 星期五 1月 20 02:57:48 2012 处运行结束 经过时间为: 00: 01: 20.91 CPU 时间为: 00: 00: 09.45

嗯，加快了45s

setp3 第三次执行导入

使用direct参数

C:\oracle\script>sqlldr scott/tiger control=ldr_object.ctl errors=10 direct=true

log

SQL*Loader: Release 10.2.0.1.0 - Production on 星期五 1月 20 03:44:39 2012 Copyright (c) 1982, 2005, Oracle. All rights reserved. 控制文件: ldr_object.ctl 数据文件: ldr_object.csv 错误文件: ldr_object.bad 废弃文件: 未作指定 (可废弃所有记录) 要加载的数: ALL 要跳过的数: 0 允许的错误: 10 继续: 未作指定 所用路径: 直接 表 OBJECTS,已加载从每个逻辑记录 插入选项对此表 TRUNCATE 生效 列名 位置 长度 中止 包装数据类型 ------------------------------ ---------- ----- ---- ---- --------------------- OWNER FIRST * , O (") CHARACTER OBJECT_NAME NEXT * , O (") CHARACTER OBJECT_ID NEXT * , O (") CHARACTER CREATED NEXT * , O (") DATE yyyy-mm-dd hh24:mi:ss STATUS NEXT * , O (") CHARACTER 列的 SQL 串: "substr(:status,1,5)" 表 OBJECTS 的以下索引已处理: 索引 SCOTT.IDX_OBJ_OWNER_NAME 已成功加载, 具有 1033298 个关键字 表 OBJECTS: 1033298 行 加载成功。 由于数据错误, 0 行 没有加载。 由于所有 WHEN 子句失败, 0 行 没有加载。 由于所有字段都为空的, 0 行 没有加载。 日期高速缓存: 最大大小: 1000 条目数: 892 命中数 : 1032406 未命中数 : 0 在直接路径中没有使用绑定数组大小。 列数组 行数: 5000 流缓冲区字节数: 256000 读取 缓冲区字节数: 1048576 跳过的逻辑记录总数: 0 读取的逻辑记录总数: 1033298 拒绝的逻辑记录总数: 0 废弃的逻辑记录总数: 0 由 SQL*Loader 主线程加载的流缓冲区总数: 302 由 SQL*Loader 加载线程加载的流缓冲区总数: 201 从 星期五 1月 20 03:44:39 2012 开始运行 在 星期五 1月 20 03:45:11 2012 处运行结束 经过时间为: 00: 00: 32.17 CPU 时间为: 00: 00: 06.19
嗯，现在只要半分钟零一点就好了

setp 4 执行第四次导入

加大流存储区，加大日期格式缓冲区

C:\oracle\script>sqlldr scott/tiger control=ldr_object.ctl errors=10 direct=true streamsize=10485760 date_cache=5000

log

SQL*Loader: Release 10.2.0.1.0 - Production on 星期五 1月 20 03:48:27 2012 Copyright (c) 1982, 2005, Oracle. All rights reserved. 控制文件: ldr_object.ctl 数据文件: ldr_object.csv 错误文件: ldr_object.bad 废弃文件: 未作指定 (可废弃所有记录) 要加载的数: ALL 要跳过的数: 0 允许的错误: 10 继续: 未作指定 所用路径: 直接 表 OBJECTS,已加载从每个逻辑记录 插入选项对此表 TRUNCATE 生效 列名 位置 长度 中止 包装数据类型 ------------------------------ ---------- ----- ---- ---- --------------------- OWNER FIRST * , O (") CHARACTER OBJECT_NAME NEXT * , O (") CHARACTER OBJECT_ID NEXT * , O (") CHARACTER CREATED NEXT * , O (") DATE yyyy-mm-dd hh24:mi:ss STATUS NEXT * , O (") CHARACTER 列的 SQL 串: "substr(:status,1,5)" 表 OBJECTS 的以下索引已处理: 索引 SCOTT.IDX_OBJ_OWNER_NAME 已成功加载, 具有 1033298 个关键字 表 OBJECTS: 1033298 行 加载成功。 由于数据错误, 0 行 没有加载。 由于所有 WHEN 子句失败, 0 行 没有加载。 由于所有字段都为空的, 0 行 没有加载。 日期高速缓存: 最大大小: 5000 条目数: 892 命中数 : 1032406 未命中数 : 0 在直接路径中没有使用绑定数组大小。 列数组 行数: 5000 流缓冲区字节数:10485760 读取 缓冲区字节数: 1048576 跳过的逻辑记录总数: 0 读取的逻辑记录总数: 1033298 拒绝的逻辑记录总数: 0 废弃的逻辑记录总数: 0 由 SQL*Loader 主线程加载的流缓冲区总数: 302 由 SQL*Loader 加载线程加载的流缓冲区总数: 0 从 星期五 1月 20 03:48:27 2012 开始运行 在 星期五 1月 20 03:48:53 2012 处运行结束 经过时间为: 00: 00: 25.39 CPU 时间为: 00: 00: 06.38

顺利突破30s

我相信，随着我继续学习，对各个参数的熟悉，还能再快点~

参考《涂抹oracle 》相关内容