Oracle-工具之SQLLDR

已于 2023-11-02 10:11:03 修改
阅读量2.5k 收藏 14
点赞数 1
分类专栏： # Oracle 文章标签： oracle 数据库
于 2023-08-25 15:10:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FuTian0715/article/details/132494157
版权

1. 什么是SQLLDR

SQLLDR是Oracle服务端自带的工具，用于快速导入大批量数据。

2. 常规路径加载/直接路径加载

sqlldr导入有两种模式，常规路径加载和直接路径加载，默认使用常规路径加载，当direct=y或者direct=true时，使用直接路径加载。直接路径加载比常规路径拥有更高的效率，但也有诸多限制。

  • 常规路径加载
    • 数据经过buffer cache，使用SQL处理数据，COMMIT提交操作，一次加载可能会涉及到多个事务处理，会产生大量undo数据（回滚数据）
    • 通过undo回滚
    • 触发INSERT 触发器
    • 操作过程中表仍可被并发访问
  • 直接路径加载
    • 数据不经过buffer cache，从PGA直接把数据格式化成Oracle块，再写入数据文件，几乎不会产生undo数据。但是如果表上有索引，会产生索引的undo数据，而且索引的块会被读进buffer cache，这将会花费大量时间在索引的维护上。因此，在向表中传送大量数据时，建议先将表上的索引设置为unusable（或者使用skip_index_maintenance=true），待插入结束后，再rebuild索引 （alter index index_name rebuild nologging）
    • 数据不会写入HWM（高水位线）以下的数据块，而是在HWM之后写入，通过HWM回滚
    • 触发器在进行直接路径加载之前已禁用，在加载结束时会重新启用，如果重新启用时不能访问某个被引用对象，这些触发器可能会保持为禁用状态
    • 操作过程中对应的表会将会被锁定，所有在这张表上的CRUD操作将会被禁止，不能并发访问

3. SQLLDR的常用参数说明

属性值含义默认值或例子
userid连接数据库的信息username/password@ip:prot/dbnameuserid=UntifA/UntifA@192.168.101.88:1521/oracledb
control控制文件：控制导入细节的文件control=control_name.txt
parfile参数文件：包含参数细节的文件parfile=parfile_name.txt
log日志文件默认与控制文件同名.log或者自己指定log=log_name.log
bad坏数据文件默认与控制文件同名.bad或者自己指定bad=bad_name.bad
discard丢弃的数据文件
discardmax允许丢弃数据的最大值全部
skip跳过的行/记录数默认值为0 ，如果前5行为表头，则可以指定跳过表头所占的行数skip=5
load加载的记录数默认值为全部
errors允许的错误记录数
direct导入模式默认为false：常规路径加载
true：直接路径加载
rows每次提交的记录数常规路径：64
直接路径：全部
parallel并行导入，仅在直接路径加载时有效，推荐设置true默认值为false
file并行加载时会用到该参数，指定file参数，要加载的内容即只向指定的数据文件写入数据，减少i/o
columnarrayrows指定直接路径加载时流缓冲区的行数5000
streamsize指定直接路径加载时流缓冲区的大小（字节）256000
multithreading指定直接路径加载时是否启用多线程
date_cache指定直接路径加载时日期转换用缓存大小（以条目为单位）1000
bindsize每次提交记录的缓冲区的大小（字节）256000
silent禁止输出信息（header,feedback,errors,discards,partitions）
skip_unusable_indexes不允许/允许不可用的索引或索引分区false
skip_index_maintenance不维护索引，将受影响的索引标记为不可用false
commit_discontinued停止加载时提交加载的行false
external_table使用外部表进行加载不使用
generate_onlysqlldr并不执行加载，而是生成创建外部表的sql和处理数据的sql，并保存在log文件中
execute执行外部表并加载数据
no_index_errors在任何索引错误上中止加载false

4. 控制文件control=control_name.txt

控制文件指定了数据源、编码格式、列的控制方式等一系列参数，我们只举例说明其中的常用内容。

语法格式：

--关闭归档日志，提高导入速度（仅直接路径时有效）
--unrecoverable

LOAD DATA

--导入字符集格式
CHARACTERSET 'UFT8'


--1.指定要加载的数据文件
--INFILE 和INDDN是同义词，它们后面都是要加载的数据文件的绝对路径。如果用 * 则表示数据就在控制文件内。
--INFILE "/home/oracle/user/UntifA/load_file.txt"
[ { INFILE | INDDN } {file | * } ]      
--BADFILE和BADDN是同义词。file指定坏数据保存的文件
--BADFILE "/home/oracle/user/UntifA/load_file.bad"
[{ BADFILE | BADDN } file ]
--DISCARDFILE和DISCARDDN是同义词。file指定丢弃的数据文件
--DISCARDFILE "/home/oracle/user/UntifA/load_file.dis"
[{ DISCARDFILE | DISCARDDN } file ]

--2.指定操作类型
--INSERT：默认值，装载空表，如果原先的表有数据，sqlloader会停止
--APPEND：原先的表有数据 就在表中追加新记录
--REPLACE：删除旧记录(用 delete from table 语句)，替换成新装载的记录
--TRUNCATE：删除旧记录(用 truncate table 语句)，替换成新装载的记录
[ APPEND | REPLACE | INSERT | TRUNCATE ]

--3.指定操作的表
INTO TABLE [user.]table

--4.指定过滤条件
--[when id = id_memo]

--5.指定字段分隔符
--字段分隔符
FIELDS TERMINATED BY ','
--字段用什么字符包括起来
OPTIONALLY ENCLOSED BY '"'
--字段没有对应的值时允许为空
TRAILING NULLCOLS

--6.指定表字段
--常见数据类型
--CHAR 字符
--DATE 日期
--INTEGER 整数
--FLOAT 普通符点
--DOUBLE 双精度符点
(
id,--类型未指定时，默认为character，每个字段的实际解析类型见log文件
code integer,
name char(1000),
sum double,
create_date date "yyyy-mm-dd hh24:mi:ss",
col_1 FILLER, --此列的值不会被装载
col_1 CONSTANT 'UntifA', --此列的值默认为常量UntifA
col_2 "substr(:col4,-3,3)", --取col4的后三位
col_3,
col_4,
clo_5 "to_date('20210202','YYYY-MM-DD')" --日期格式字段插入固定日期
)

例子1：

LOAD DATA
CHARACTERSET 'UFT8'
INFILE "/home/oracle/user/UntifA/load_file.txt"
BADFILE "/home/oracle/user/UntifA/load_file.bad"
DISCARDFILE "/home/oracle/user/UntifA/load_file.dis"
TRUNCATE
INTO TABLE test_01
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
id,--类型未指定时，默认为character，每个字段的实际解析类型见log文件
code integer,
name char(1000),
sum double,
create_date date "yyyy-mm-dd hh24:mi:ss",
col_1 FILLER, --此列的值不会被装载
col_1 CONSTANT 'UntifA', --此列的值默认为常量UntifA
col_2 "substr(:col4,-3,3)", --取col4的后三位
col_3,
col_4,
clo_5 "to_date('20210202','YYYY-MM-DD')" --日期格式字段插入固定日期
)

例子2：

OPTIONS (DIRECT=true,SKIP_INDEX_MAINTENANCE=true,PARALLEL=true)  
LOAD DATA  
INFILE 'nor.dat'  
BADFILE 'nor.bad'  
DISCARDFILE 'nor.dsc'  
INTO TABLE p95169.DISEASE_EXPERT_RELATION  
APPEND  
WHEN len='3'  
FIELDS TERMINATED BY WHITESPACE  
(  
  len FILLER POSITION(1) CHAR,  
  DISEASEEXPERTUUID EXPRESSION "SYS_GUID()",  
  EXPERTUUID CHAR,  
  DISEASEUUID CHAR,  
  DISEASESORTCODE EXPRESSION "NULL",  
  DISEASENAME CHAR,  
  CREATEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')",  
  MODIFIEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')"  
)  
INTO TABLE p95169.DISEASE_EXPERT_RELATION  
APPEND  
WHEN len='2'  
FIELDS TERMINATED BY WHITESPACE  
(  
  len FILLER POSITION(1) CHAR,  
  DISEASEEXPERTUUID EXPRESSION "SYS_GUID()",  
  EXPERTUUID CHAR,  
  DISEASEUUID EXPRESSION "NULL",  
  DISEASESORTCODE EXPRESSION "NULL",  
  DISEASENAME CHAR,  
  CREATEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')",  
  MODIFIEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')"  
)  
INTO TABLE p95169.DISEASE_EXPERT_RELATION  
APPEND  
WHEN len='1'  
FIELDS TERMINATED BY WHITESPACE  
(  
  len FILLER POSITION(1) CHAR,  
  DISEASEEXPERTUUID EXPRESSION "SYS_GUID()",  
  EXPERTUUID CHAR,  
  DISEASEUUID EXPRESSION "NULL",  
  DISEASESORTCODE EXPRESSION "NULL",  
  DISEASENAME EXPRESSION "NULL",  
  CREATEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')",  
  MODIFIEDTIME EXPRESSION "TO_CHAR(sysdate,'yyyymmddhh24miss')"  
)

控制文件还有很多对表、对列的单独控制，如果有需求可以百度查找如何使用

参考帖子：
[Oracle] SQL*Loader 详细使用教程（1）- 总览
[Oracle] SQL*Loader 详细使用教程（2）- 命令行参数
[Oracle] SQL*Loader 详细使用教程（3）- 控制文件
[Oracle] SQL*Loader 详细使用教程（4）- 字段列表

UntifA
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqlldr_所有命令及用法
10-22
1. sqlldr简介 3 2. sqlldr结构 4 2.1. sqlldr结构图 4 2.2. sqlldr功能描述 5 2.3. 命令结构 6 2.3.1. 程序参数 6 2.4. 控制文件 8 2.4.1. 控制文件语法 8 2.4.2. 控制文件结构说明 9 2.5. 数据文件 11 2.5.1. 数据文件要求 11 2.5.2. 数据文件内容 11 2.6. 日志文件 12 2.7. BAD文件 12 2.8. DISCARD文件 12 3. sqlldr 装载 13 3.1. 一般装载 14 3.1.1. 控制文件 14 3.1.2. 数据文件 14 3.1.3. 装载结果 14 3.2. 指定字段长度装载 15 3.2.1. 控制文件 15 3.2.2. 数据文件 15 3.2.3. 装载结果 15 3.3. 指定类型装载 16 3.3.1. 控制文件 16 3.3.2. 数据文件 16 3.3.3. 装载结果 17 3.4. 跳过装载 17 3.5. 多表装载 17 3.5.1. 控制文件 17 3.5.2. 数据文件 18 3.5.3. 装载结果 18 3.6. 直接路径装载 19 3.6.1. 控制文件 19 3.6.2. 数据文件 20 3.6.3. 装载结果 20 3.7. 使用函数装载 20 3.7.1. 控制文件 20 3.7.2. 装载结果 21 3.8. 多文件多表装载 21 3.8.1. 控制文件 22 3.8.2. 数据文件 22 3.8.3. 装载结果 23 3.9. 默认值装载 23 3.9.1. 控制文件 23 3.9.2. 数据文件 24 3.9.3. 装载结果 24 3.10. LOB数据装载 24 3.10.1. 控制文件 25 3.10.2. 数据文件 25 3.10.3. 装载结果 26 3.11. 外部表装载 26 3.11.1. 装载结果 27
oracle最强大的sqlldr上传工具
03-23
oracle最强大的sqlldr上传工具
OraLoader--用sqlldr的Oracle库表数据装载工具
01-08
用过PLSQL developer么？配合起来不错，不用写控制文件了
Oracle sqlldr的用法 (这个最完整)
guanyi的博客
08-31 1202
在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法： 1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中 2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from A@dbli...
Oracle sqlldr 大批量数据导入工具
07-25
Oracle sqlldr 大批量数据导入工具使用实例，通过Oracle 自带的sqlldr 工具可快速导入大批量的数据至Oracle中。 工具使用前提条件： 1.安装的Oracle Client 不能为精简版，要不然就找不到sqlldr.exe 2.将Oracle的安装目录下的/BIN/sqlldr.exe加入系统环境变量 3.执行的实例，请参考压缩包中的remark.txt 说明文件
Oracle中的sqlldr用法.doc
10-22
涉及sqlldr的参数说明和常见应用
SQLLDR 简介
longtimetoc的博客
08-15 3678
1. SQLLDR导入   1.1 简介 　SQL*LOADER是ORACLE的数据加载工具，通常用来将操作系统文件（数据）迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。   2.2 语法和参数 语法： SQLLDR keyword=value [,keyword=value,..
SQLLDR简介 和 Oracle插入大量数据
dwoiauda的博客
06-09 1918
SQLLOADER是ORACLE的数据加载工具，通常用来将操作系统文件（数据）迁移到ORACLE数据库中。SQLLOADER是大型数据仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。
sqlldr导数据
cai555的专栏
07-24 2281
在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from...
SQL*Loader使用指南
wotiger的专栏
12-10 1434
Oracle 的SQL*LOADER可以将外部数据加载到数据库表中。下面是SQL*LOADER的基本特点： 1）能装入不同数据类型文件及多个数据文件的数据2）可装入固定格式，自由定界以及可度长格式的数据3）可以装入二进制，压缩十进制数据4）一次可对多个表装入数据5）连接多个物理记录装到一个记录中6）对一单记录分解再装入到表中7）可以用 数对制定列生成唯一的KEY
oracle-sqlldr
weixin_42682872的博客
12-30 1257
转载：原文链接：https://blog.csdn.net/a545812327/article/details/102666185。skip_index_maintenance FALSE 没有维护索引, 将受到影响的索引标记为无用。skip_unusable_indexes FALSE 不允许/允许使用无用的索引或索引分区。rows 常规：64 默认路径：全部 常规路径绑定数组中或直接路径保存数据间的行数。load 全部 要加载的逻辑记录的数目。
Oracle11G客户端64位windows环境-sqlldr-imp-sqlplus等可用.zip
03-06
oracle11g基本客户端，主要是用于windows环境下sqlplus,sqlldr,exp,imp这几个命令。最最主要的还是sqlldr，想找个单独可用的sqlldr，在Oracle 10g Client 精简优化安装包不到12M http://download.csdn.net/download/mysky2008/4382509 下载了10g的，但本地测试出现sql*loader 704错误，不知道怎么解决，也找不到其他资源，最后去找安装了完整版的同事，借鉴这个下载链接里面的文件，删除了其他没用到的东西(经历了好几个小时，一个一个dll测试过去)，最后sqlplus, sqlldr可用。 如果是遇到sql*
论文研究-Oracle SQLLDR介绍及基于SQLLDR的数据库同步系统实现 .pdf
08-21
Oracle SQLLDR介绍及基于SQLLDR的数据库同步系统实现，刘苑琦，邹仕洪，SQL*Loader是Oracle数据库系统提供的一个高速批量数据加载工具，它可以在极短的时间内加载数量庞大的数据，可以直接被前端应用程序调��
解决Oracle11g的SQL Loader（sqlldr）命令行中文乱码问题
Shion's bla bla blog
04-27 3326
道理我都懂，但是Oracle的sqlldr命令行还是出现了乱码并从原理上无法解决？？？
oracle sqlldr的使用，外部表的使用,使用idea导出数据库的csv格式文件
热门推荐
不是一枚开发
04-03 6万+
文章目录一.sqlldr 导入数据1. 简介2. sqlldr命令和参数说明3. 使用(1) 向表导入txt文件内容(2) 控制文件中的操作类型二.spool 导出数据三.外部表1. 简介2. 分类：使用数据泵引擎生成的外部表、根据文本文件创建的外部表(1) 使用数据泵引擎生成的外部表(2) 根据文本文件创建的外部表四.使用idea导出oracle数据库的csv格式文件 一.sqlldr 导入数据 1. 简介 SQLLOADER是一个oracle工具，能够将数据从外部数据文件装载到数据库中； sqlldr
sqlldr的用法详解
stafen1的博客
07-07 3万+
由于最近做一个项目 ， 需要将 .log格式的文本文档导入到 oracle当中 。其中遇到过很多的问题 , 网上有许多的例子 ,但是对于一个没有学过 oracle 的小白来说还是有一些晦涩。 所以我特意将我找的一些相关资料进行总结一下  。
oracle sqlload
An342647823的专栏
07-29 1305
LOAD DATA INFILE 'F:\data_load\ss.txt' --数据文件路径 truncate --加载方式 into table test_an when c FIELDS   TERMINATED   BY   ','    ---以逗号进行‘,‘分割 (a1 CHAR, b CHAR, c CHAR, d CHAR, e CHAR ) --
Oracle sqlldr命令和ctl控制文件
D2cOneluo的博客
10-21 1万+
oracle sqldrl命令与以及ctl文件 具体操作如下： 第一步：先编辑好数据控制文件 xx.ctl，如lee.ctl options(skip=1) --跳过第一行（看实际情况） load data CHARACTERSET ZHS16GBK --转码 truncate --将表数据清空插入数据，此外还有insert、replace、append方式 into table lee ...
oracle操作系统OS认证和密码文件认证
最新发布
qq_34595089的博客
04-20 929
Oracle登录认证方式主要涉及到如何验证用户身份以访问数据库。Oracle数据库提供了多种认证机制来确保数据的安全性和访问控制，每种方式都有其特定的使用场景和安全性考虑。以下是Oracle中常见的登录认证方式：1、基于操作系统的认证（OS认证）在基于操作系统的认证中，Oracle依赖底层操作系统的用户身份验证机制。当使用OS认证时，Oracle进程以操作系统用户的身份运行，并继承该用户的权限。这种认证方式通常用于本地连接，特别是在Unix/Linux系统上。
oracle 如何使用sqlldr
07-15
要使用 SQL*Loader 工具加载数据到 Oracle 数据库中，你需要按照以下步骤进行操作： 1. 创建一个控制文件（Control File）：控制文件指定了数据加载的规则和目标表的结构。你可以使用文本编辑器创建一个控制文件，其中包含了数据字段的描述和目标表的定义。 2. 创建一个数据文件（Data File）：数据文件是包含要加载到数据库中的数据的文本文件。确保数据文件的格式与控制文件中的描述相匹配。 3. 运行 SQL*Loader 工具：在命令行中运行 sqlldr 命令，指定控制文件和数据文件的位置。例如： ``` sqlldr username/password@database control=control_file.ctl data=data_file.dat ``` 其中，username 是要登录的用户名，password 是密码，database 是数据库连接信息，control_file.ctl 是控制文件的路径，data_file.dat 是数据文件的路径。 4. 检查加载结果：SQL*Loader 将尝试将数据加载到指定的表中。执行完毕后，你可以查看日志文件来了解加载的结果。默认情况下，日志文件将保存在当前目录下，并以控制文件的名称为基础命名。 请注意，上述步骤仅是 SQL*Loader 工具的基本使用方法。你可以在 Oracle 官方文档中找到更多高级操作和选项，以满足你的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值