批量导数据导oracle,批量数据文件用sqlldr导数据到oracle中

批量数据文件用sqlldr导数据到oracle中

发布时间：2020-07-26 15:05:15

来源：51CTO

阅读：956

作者：月牙湾湾

使用sqlload导文本数据到oracle中想必很多人多使用过，但是倘若有几百或者几千个数据文本，或者实时有文本数据产生。这种场景如何批量导入oracle呢，下面就来讲解下我处理的方式。

1.shell脚本LoadData.sh如下#!/bin/bash

data_dir=/home/bea/datasource/warn-log/dayflow  # 文本数据目录

data_dir_bak=/home/bea/datasource/warn-log/dayflow_bak

shell_dir=/home/bea/script

while [ 1 ]

do

cd $data_dir

if [ `pwd` == $data_dir ]

then

filelist=`ls -rt | grep dayflow.log_.`  #数据文本文件名匹配

fi

#echo $filelist

cd $shell_dir

if [ `pwd` == $shell_dir ]

then

for file in $filelist

do

date=`date "+%Y%m%d %H:%M:%S"`

export LoadFileName=$data_dir"/"$file    #这个地方很重要，要加载变量到环境中

echo "Time is $date ,开始导$LoadFileName数据"

sqlldr user_1/123456@213_db control=dayflow.log.ctl BAD=dayflow.log.bad

echo "Time is $date ,$LoadFileName数据导入完毕"

echo "开始备份文件$file"

mv $LoadFileName $data_dir_bak

echo "$file备份完毕"

done

fi

done

这个地方最应该要注意的是export LoadFileName=$data_dir"/"$file

这里将LoadFileName (导入oracle 的文本，绝对路径)这个变量 export到linux环境中，这样sqlload的控制文件就可以读到这个变量并进行导入

2.sqlldr控制文本dayflow.log.ctlload data

CHARACTERSET AL32UTF8

infile '$LoadFileName'

APPEND into table user_1.BIL_FLUX_HIGH_CUR

fields terminated by '|'

trailing nullcols

(ACCS_NBR "TRIM(:ACCS_NBR)",

DATE_ID "TRIM(:DATE_ID)",

TOTAL_FLUX "TRIM(:TOTAL_FLUX)",

sys_date "sysdate")

请注意 infile '$LoadFileName'，这里就是shell中 刚才export的变量，通过这种方式就可以以变量的形式传入文件名，那么批量导入也就是一个循环的操作。