一、需求
windows上的一个文本文件filename.txt有22008080行,有两列数字,要导入oracle的表中,时间要尽量的短。
二、实现方法
1. 压缩(zip)上传(scp)文件,把文件从windows传到oracle所在的linux机器上
下面步骤都在oracle服务器上执行
2. 解压缩
unzip filename.zip
3. 处理回车换行
dos2unix filename.txt
4. 检查一下文件有多少行
wc -l filename.txt
5. 把一个大文件分成若干小文件
split -l 2200808 filename.txt -d -a 4 a_
说明:split命令可以将一个大文件分割成很多个小文件。-l参数是每个输出文件的行数;-d参数表示以数字作为输出文件名的后缀;-a参数指示文件名后缀的长度,a_是输出文件名的前缀。命令成功执行后,生成了10个2200808行的小文件,文件名分别为
a_0000
a_0001
a_0002
a_0003
a_0004
a_0005
a_0006
a_0007
a_0008
a_0009
6. 批量改名给文件添加后缀.txt
ls -al a_00* | awk '{print $9}' | xargs -i mv {} {}.txt
7. 编写相应的sqlldr控制文件
# more a0.ctl
load data
infile 'a_0000.txt'
badfile 'a0.bad'
discardfile 'a0.dsc'
into table "user1"."t1"
append
fields terminated by x'9'
trailing nullcols
(userid,
viewseq)
...
# more a9.ctl
load data
infile 'a_0009.txt'
badfile 'a9.bad'
discardfile 'a9.dsc'
into table "user1"."t1"
append
fields terminated by x'9'
trailing nullcols
(userid,
viewseq)
与文本文件对应生成了10个控制文件
8. 使用sqlldr并行直接路径加载
sqlldr userid=user1/123456 control=a0.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a1.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a2.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a3.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a4.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a5.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a6.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a7.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a8.ctl direct=y parallel=true skip_index_maintenance=true &
sqlldr userid=user1/123456 control=a9.ctl direct=y parallel=true skip_index_maintenance=true &
22008080行只需要几秒钟
参考:
sqlldr并行加载问题
linux下的split 命令(将一个大文件根据行数平均分成若干个小文件)
oracle 并行原理深入解析及案例精粹