Oracle sqlldr导入数据使用默认值和提高性能的方法

最新推荐文章于 2022-04-14 15:44:04 发布

转载最新推荐文章于 2022-04-14 15:44:04 发布 · 1.1w 阅读

文章标签：

本文深入探讨了如何通过多种方法优化SQLLODR在导入大量数据时的性能，包括设置直接加载模式、调整读写缓冲区大小、增加绑定大小、使用并行加载等策略，以提升数据导入效率。

在实际中常常有大量的数据需要导入到目前的数据库表中，oracle提供的sqlldr命令很好的meet了这个需求。在使用的过程中，我们发现，如果在数据库的table端的Column中设置default值，但是使用sqlldr就不会起作用，也就是默认值没有设置成功，所以需要设置默认值得时候，我们将默认值写到了ctl文件中。ctl文件如下：

Load data
infile 'd:\temp\buser.txt'
Append
into table tmp_temp
TRAILING NULLCOLS
(
phonenumber ,
addtime sysdate,
remark "suit"
)

在导入大量数据的时候i，sqlldr往往不敬人意，在导入的时候存在效率问题，可以通过一下几种方式提高sqlldr的速度.

1. 使用direct=Y 这是速度提高最快的方式
2. 使用大的readsize/streamsize 提高读写数据的缓冲区的大小
readsize 的最大值为21971520(20M). streamszie的最大值不清楚,我自己一般设置为21971520
3. 使用大的bindsize (只对conventional path load有效) , 提高一次提交的数据量, 效果也比较明显.
4. 使用大的columnarrayrows . Oracle9i的最大值在750000-800000之间,
Number of rows for direct path column array 提高direct load的效率,
5. 使用并行load, 最好运行两个不同的sqlldr程序, 指定每个ctl文件加载不同的内容.
6. 先删除加载表上的索引和约束. 具体效果不是很清楚, 但是, 肯定可以提高加载的速度.
7. 最好将加载表设置成nologging/unrecoverable, 对于conventional path load比较有用, 减少重做日志的写入.
8. 加大date_cache的大小, 在加载表有日期字段的时候能够提高加载的速度.
date_cache -- size (in entries) of date conversion cache (Default 1000)