03-003oracle导入导出数据

csdn_immortal

于 2019-05-05 17:25:34 发布

阅读量494

点赞数 1

分类专栏： database

本文链接：https://blog.csdn.net/csdn_immortal/article/details/89851351

版权

database 专栏收录该内容

24 篇文章 0 订阅

订阅专栏

文章目录

声明：oracle 12c 安装于redhat6.5系统上，从plsql developer导入导出数据太慢(100万数据大概2个小时)。如果从后台oracle12c 服务器导入导出数据则很快

实例：

[oracle@HXQ-CMS-TEST backup]$ pwd
/home/oracle/backup

[oracle@HXQ-CMS-TEST backup]$ sqlldr amsshorcl_test/amsshorcl_test@ora112 control=test.ctl log=a.log

SQL*Loader: Release 11.2.0.4.0 - Production on 星期五 5月 17 10:00:37 2019

Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.

Commit point reached - logical record count 64
Commit point reached - logical record count 128
Commit point reached - logical record count 192
Commit point reached - logical record count 256
Commit point reached - logical record count 320
Commit point reached - logical record count 384
Commit point reached - logical record count 448
Commit point reached - logical record count 512
Commit point reached - logical record count 576
Commit point reached - logical record count 640
Commit point reached - logical record count 704
Commit point reached - logical record count 768
Commit point reached - logical record count 832
Commit point reached - logical record count 896
Commit point reached - logical record count 960


[oracle@HXQ-CMS-TEST backup]$ ll
total 960
-rw-r--r-- 1 oracle dba   2627 May 17 09:51 1111.bad
-rw-r--r-- 1 oracle dba 940835 May 17 09:43 1111.csv
-rw-r--r-- 1 oracle dba   1708 May 17 10:00 a.log
-rw-r--r-- 1 oracle dba  20857 May 12 16:11 import.log
-rw-r--r-- 1 oracle dba    220 May 17 10:00 test.ctl

test.ctl内容如下

LOAD DATA
CHARACTERSET UTF8
INFILE "/home/oracle/backup/1111.csv"
APPEND
INTO TABLE AMS_ASSET_INFO_FROM_INSTALL
FIELDS TERMINATED BY ","
TRAILING NULLCOLS
(
assetid,
devsno,
receive_time date "yyyy/mm/dd hh24:mi:ss"
)

1111.csv内容如下
在这里插入图片描述

dos格式，从windows上上传上来的文件为dos格式，需要转为linux的unix格式
oracle 12c @dhy$  cat -A 44430.csv| head
12955456,00400300000100600001842C80215A36,2019/5/20 12:45^M$
12955457,00400300000100600001842C80216043,2019/5/20 16:03^M$
12955458,00400300000100600001842C80216192,2019/5/20 19:31^M$
unix格式如下
[oracle@HXQ-CMS-TEST backup]$ cat -A 1111.csv | head
1057151,00259E-HWTC06DFCE9E,2019/5/12 10:46$
1057152,00400300000395500006748F1B393D5E,2019/5/12 10:05$
1057153,00400300000395500006748F1B3938FA,2019/5/12 13:24$
1057154,00400300000395500006748F1B393B48,2019/5/12 16:14$
1057155,00400300000395500006748F1B39345C,2019/5/12 15:32$
1057156,00400300000395500006748F1B39345D,2019/5/12 11:39$
1057157,00400300000395500006748F1B39003A,2019/5/12 10:16$
1057158,00400300000395500006748F1B39003F,2019/5/12 10:40$
1057159,00400300000395500006748F1B392C30,2019/5/12 12:21$
1057160,00400300000395500006748F1B392C33,2019/5/12 14:39$

https://blog.csdn.net/csdn_immortal/article/details/90598451
表AMS_ASSET_INFO_FROM_INSTALL结构如下图
在这里插入图片描述

-- Create table
create table AMS_ASSET_INFO_FROM_INSTALL
(
  assetid         NUMBER not null,
  wareoutno       VARCHAR2(64),
  apply_warehouse VARCHAR2(64),
  assetno         VARCHAR2(128),
  wareout_time    DATE,
  receive_time    DATE,
  domain1         VARCHAR2(20),
  devsno          VARCHAR2(64)
)
tablespace DHMP_AMS
  pctfree 10
  initrans 1
  maxtrans 255
  storage
  (
    initial 64K
    next 1M
    minextents 1
    maxextents unlimited
  );

oracle数据库导入导出数据

oracle服务器后台导入数据

sql命令

sqlldr rms/123456@SHDDZJALL control=impport.ctl log=a.log —执行语句
sqlloader 用户名/密码@实例名
实例名：

oracle12c @jq:/home/oracle$  echo $ORACLE_SID
shddzj1

impport.ctl 内容如下
load data
CHARACTERSET UTF8
infile “/home/oracle/ct/20190423.csv” ----导入的文件
append
into table tmp_wz_asset —导入的表
fields terminated by ‘,’ —域分隔符
trailing nullcols
(assetno,statustime ----要导入字段
)

oarcle后台导出数据

shell脚本

#bin/bash
#login_passwd=rms/123456
TMPFILE1=/home/oracle/dev_log.csv  #存放位置
CHARACTERSET UTF8
date '+%D %T%n'                                 #转换为oralce日期格式，否则导出乱码        
echo ${TMPFILE1}                               #执行脚本时，提示输出文件位置    
      sqlplus / as sysdba <<EOF
      conn rms/123456
      set pagesize 0;
      set linesize 1000;
set termout off;
set trims off;
      set echo off;
      set colsep"";
   spool ${TMPFILE1}
   @/home/oracle/dev_log.sql  ---需要导出的查询结果的语句
  spool off
  exit 
EOF

在windowd平台导入导出数据如下百度文库
百度文库专业资料IT/计算机计算机软件及应用
https://wenku.baidu.com/view/51a54290bceb19e8b8f6ba8f.html

删除oracle用户及相关表空间和数据
https://www.cnblogs.com/vmkash/p/6524793.html

------------别人家的

转自:http://blog.chinaunix.net/uid-23622436-id-2394093.html

在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中
2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from A@dblink where ...
3. exp A 表，再 imp 到 B 表，exp 时可加查询条件
4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显

第 1 种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

alter table B nologging;
insert /* +APPEND */ into B(c1,c2) values(x,xx);
insert /* +APPEND */ into B select * from A@dblink where .....;

好啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle 的 Sql Loader (sqlldr) 的用法。

在命令行下执行 Oracle 的 sqlldr 命令，可以看到它的详细参数说明，要着重关注以下几个参数：

userid -- Oracle 的 username/password[@servicename]
control -- 控制文件，可能包含表的数据
-------------------------------------------------------------------------------------------------------
log -- 记录导入时的日志文件，默认为控制文件(去除扩展名).log
bad -- 坏数据文件，默认为控制文件(去除扩展名).bad
data -- 数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作
errors -- 允许的错误记录数，可以用他来控制一条记录都不能错
rows -- 多少条记录提交一次，默认为 64
skip -- 跳过的行数，比如导出的数据文件前面几行是表头或其他描述

还有更多的 sqlldr 的参数说明请参考： sql loader的用法。

用例子来演示 sqlldr 的使用，有两种使用方法：

1. 只使用一个控制文件，在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL *Plus 的 spool 格式化产出，或是 UTL_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。

首先，假定有这么一个表 users，并插入五条记录：

create table users(
user_id number, --用户 ID
user_name varchar2(50), --用户名
login_times number, --登陆次数
last_login date --最后登录日期
)

insert into users values(1,'Unmi',3,sysdate);
insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));
insert into users values(3,'隔叶黄莺 ',8,to_date('2009-01-02','YYYY-MM-DD'));
insert into users values(4,'Kypfos',NULL,NULL);
insert into users values(5,'不知秋 ',1,to_date('2008-12-23','YYYY-MM-DD'));

第二种方式：使用一个控制文件(作为模板) 和一个数据文件

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：

" ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"
"1","1","Unmi","3","2009-1-5 20:34:44"
"2","2","","5","2008-10-15"
"3","3","隔叶黄莺","8","2009-1-2"
"4","4","Kypfos","",""
"5","5","不知秋","1","2008-12-23"

2) 建立一个控制文件 users.ctl，内容如下：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行
LOAD DATA
INFILE "users_data.csv" --指定外部数据文件，可以写多个 INFILE "another_data_file.csv" 指定多个数据文件
--这里还可以使用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件，
truncate --操作类型，用 truncate table 来清除表中原有记录
INTO TABLE users -- 要插入记录的表
Fields terminated by "," -- 数据中每行记录用 "," 分隔
Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起，比如字段中有 "," 分隔符时
trailing nullcols --表的字段没有对应的值时允许为空
(
virtual_column FILLER, --这是一个虚拟字段，用来跳过由 PL/SQL Developer 生成的第一列序号
user_id number, --字段可以指定类型，否则认为是 CHARACTER 类型, log 文件中有显示
user_name,
login_times,
last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相当用 to_date() 函数转换
)

说明：在操作类型 truncate 位置可用以下中的一值：

1) insert --为缺省方式，在数据装载开始时要求表为空
2) append --在表中追加新记录
3) replace --删除旧记录(用 delete from table 语句)，替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录

3) 执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。

执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。

第一种方式，只使用一个控制文件在这个控制文件中包含数据

1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题，把数据处理了一下。此时，完整的 users.ctl 文件内容是：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行
LOAD DATA
INFILE * -- 因为数据同控制文件在一起，所以用 * 表示
append -- 这里用了 append 来操作，在表 users 中附加记录
INTO TABLE users
when LOGIN_TIMES<>'8' -- 还可以用 when 子句选择导入符合条件的记录
Fields terminated by ","
trailing nullcols
(
virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号
user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值
user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理
login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符
last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL
)
BEGINDATA --数据从这里开始
,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN
1,1,Unmi,3,2009-1-5 20:34
2,2,Fantasia,5,2008-10-15
3,3,隔叶黄莺,8,2009-1-2
4,4,Kypfos,NULL,NULL
5,5,不知秋,1,2008-12-23

2) 执行一样的命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

比如，在控制台会显示这样的信息：

C:\>sqlldr dbuser/dbpass@dbservice control=users.ctl

SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

达到提交点，逻辑记录计数4
达到提交点，逻辑记录计数5

上面的控制文件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义。还能由此发掘更多用法。

最后说下有关 SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)

2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true
sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true
sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true

当加载大量数据时（大约超过10GB），最好抑制日志的产生：

SQL>ALTER   TABLE   RESULTXT   nologging;

这样不产生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable，此选项必须要与DIRECT共同应用。

在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。

（注意：一般只能用ASCII码形式，切记要转换编码，不然导入数据为空）

参考：1. Oracle SQL*Loader -- 英文，Sql Loader 的官方使用说明，包含多种类型的 Demo
        2. sql loader的用法 -- 列出了 sql loader 的选择参数的中文说明
        3. 使用SQL Loader导入大量数据，避免使用SQL频繁写库 -- 一个简单的例子，快带了解 Sql Loader 的用法
        4. Oracle SQL Loader的详细语法
        5. oracle sql loader全攻略 -- 还算名符其实。并讲了如何用 SQL *Plus 的 spool 或 UTL_FILE 包生成数据文件
        6. SQL*Loader Control File Reference   -- 英文，控制文件使用参考
        7. 学习oracle sql loader 的使用
        8. 用 sqlloader(sqlldr)装载LOB数据 -- LOB 的内类是一个外部文件，用 sql loader 导入到数据库
        9. SQLLDR直接加载几个参数的测试
        10.Maximizing SQL*Loader Performance

csdn_immortal

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
03-003oracle导入导出数据

sqlldr rms/123456@SHDDZJALL control=impport.ctl log=a.log —执行语句impport.ctl 内容如下load dataCHARACTERSET UTF8infile “/home/oracle/ct/20190423.csv” ----导入的文件appendinto table tmp_wz_assetfields ...
复制链接

扫一扫

专栏目录