ORACLE对表批处理操作

--oracle常用系统表

/*

dba_开头..... 

dba_users    数据库用户信息

   dba_segments 表段信息

   dba_extents   数据区信息

   dba_objects   数据库对象信息

   dba_tablespaces  数据库表空间信息

   dba_data_files   数据文件设置信息

   dba_temp_files  临时数据文件信息

   dba_rollback_segs  回滚段信息

   dba_ts_quotas  用户表空间配额信息

   dba_free_space数据库空闲空间信息

   dba_profiles  数据库用户资源限制信息

   dba_sys_privs  用户的系统权限信息

   dba_tab_privs用户具有的对象权限信息

   dba_col_privs用户具有的列对象权限信息

   dba_role_privs用户具有的角色信息

   dba_audit_trail审计跟踪记录信息

   dba_stmt_audit_opts审计设置信息

   dba_audit_object  对象审计结果信息

   dba_audit_session会话审计结果信息

   dba_indexes用户模式的索引信息

user_开头

   user_objects  用户对象信息

   user_source  数据库用户的所有资源对象信息

   user_segments  用户的表段信息

   user_tables   用户的表对象信息

   user_tab_columns  用户的表列信息

   user_constraints  用户的对象约束信息

   user_sys_privs  当前用户的系统权限信息

   user_tab_privs  当前用户的对象权限信息

   user_col_privs  当前用户的表列权限信息

   user_role_privs  当前用户的角色权限信息

   user_indexes  用户的索引信息

   user_ind_columns用户的索引对应的表列信息

   user_cons_columns  用户的约束对应的表列信息

   user_clusters  用户的所有簇信息

   user_clu_columns 用户的簇所包含的内容信息

   user_cluster_hash_expressions   散列簇的信息

v$开头

   v$database   数据库信息

   v$datafile  数据文件信息

   v$controlfile控制文件信息

   v$logfile  重做日志信息

   v$instance  数据库实例信息

   v$log  日志组信息

   v$loghist 日志历史信息

   v$sga  数据库SGA信息

   v$parameter 初始化参数信息

   v$process  数据库服务器进程信息

   v$bgprocess  数据库后台进程信息

   v$controlfile_record_section  控制文件记载的各部分信息

   v$thread  线程信息

   v$datafile_header  数据文件头所记载的信息

   v$archived_log归档日志信息

   v$archive_dest  归档日志的设置信息

   v$logmnr_contents  归档日志分析的DML DDL结果信息

   v$logmnr_dictionary  日志分析的字典文件信息

   v$logmnr_logs  日志分析的日志列表信息

   v$tablespace  表空间信息

   v$tempfile  临时文件信息

   v$filestat  数据文件的I/O统计信息

   v$undostat  Undo数据信息

   v$rollname  在线回滚段信息

   v$session  会话信息

   v$transaction 事务信息

   v$rollstat   回滚段统计信息

   v$pwfile_users  特权用户信息

   v$sqlarea    当前查询过的sql语句访问过的资源及相关的信息

   v$sql         与v$sqlarea基本相同的相关信息

   v$sysstat   数据库系统状态信息

all_开头

   all_users  数据库所有用户的信息

   all_objects  数据库所有的对象的信息

   all_def_audit_opts  所有默认的审计设置信息

   all_tables  所有的表对象信息

   all_indexes所有的数据库对象索引的信息

session_开头

   session_roles   会话的角色信息

   session_privs   会话的权限信息

index_开头

   index_stats  索引的设置和存储信息

伪表

   dual  系统伪列表信息

*/

--删除表对象

select 'drop table '||segment_name from dba_segments where owner='VPMUSER' and segment_type='TABLE';

--创建表对象

select 

'create table '||segment_name || ' as select * from '||segment_name ||'@DBLINK' 

from dba_segments where owner='VPMUSER' and segment_type='TABLE';

检查表是否完整导入

select segment_name from dba_segments@aaa where owner='VPMUSER' and segment_type='TABLE'  

and (segment_name not like 'BIN$%'

and segment_name not like '%201%')

minus

select segment_name from dba_segments where owner='VPMUSER' and segment_type='TABLE'  and segment_name not like 'BIN$%'

如何加速Oracle大批量数据处理 

一、提高DML操作的办法：

简单说来：

１、暂停索引，更新后恢复.避免在更新的过程中涉及到索引的重建.

２、批量更新，每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.

３、创建一临时的大的表空间用来应对这些更新动作．

4、批量更新，每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.

5、创建一临时的大的表空间用来应对这些更新动作．

6、加大排序缓冲区

alter session set sort_area_size=100000000;

insert into tableb select * from tablea;

commit;

如果UPDATE的是索引字段，就会涉及到索引的重建，暂停索引不会提高多少的速度，反而有可能降低UPDATE速度，

因为在更新是索引可以提高数据的查询速度，重建索引引起的速度降低影响不大。

ORACLE优化修改参数最多也只能把性能提高15%，大部分都是SQL语句的优化！

update总体来说比insert要慢 ：

几点建议：

1、如果更新的数据量接近整个表，就不应该使用index而应该采用全表扫描

2、减少不必要的index，因为update表通常需要update index

3、如果你的服务器有多个cpu，采用parellel hint，可以大幅度的提高效率

另外，建表的参数非常重要，对于更新非常频繁的表，建议加大PCTFREE的值，以保证数据块中有足够的空间用于UPDATE， 从而降低CHAINED_ROWS。

二、各种批量DML操作：

（1）、oracle批量拷贝：

set arraysize 20

set copycommit 5000

copy from username/password@oraclename append table_name1

using select * from table_name2;

（2）、常规插入方式：

insert into t1 select * from t;

为了提高速度可以使用下面方法，来减少插入过程中产生的日志:

alter table t1 nologging;

insert into t1 select * from t;

commit;

(3)、CTAS方式：

create table t1

as

select * from t;

为了提高速度可以使用下面方法，来减少插入过程中产生的日志，并且可以制定并行度:

create table t1 nologging parallel(degree 2) as select * from t;

 

（4）、Direct-Path插入：

insert /*+append*/ into t1 select * from t;

commit;

为了提高速度可以使用下面方法，来减少插入过程中产生的日志：

alter table t1 nologging;

insert /*+append*/ into t1 select * from t;

Direct-Path插入特点：

1、 append只在insert … select …中起作用，像insert /*+ append */ into t values(…)这类的语句是不起作用的。在update、delete操作中，append也不起作用。

2、 Direct-Path会使数据库不记录直接路径导入的数据的重做日志，会对恢复带来麻烦。

3、 Direct-Path直接在表段的高水位线以上的空白数据块中写数据，不会重用高水位线以下的空间，会对空间的使用造成一定的浪费，对查询的性能也会造成一定的影响。而常规插入会优先考虑使用高水位线之下有空闲空间存在的数据块。因此理论上Direct-Path插入会比常规插入速度更快，因为Direct-Path直接使用新数据块，而常规插入要遍历freelist获取可用空闲数据块，如果同 nologging 配合，这种速度优势会更加明显。

4、 以append方式插入记录后，要执行commit，才能对表进行查询。否则会出现错误：ORA-12838: 无法在并行模式下修改之后读/修改对象。

5、 用append导入数据后，如果没有提交或者回滚，在其他会话中任何对该表的DML都会被阻塞（不会报错），但对该表的查询可以正常执行。

6、 在归档模式下，要把表设置为nologging，然后以append方式批量添加记录，才会显着减少redo数量。在非归档模式下，不必设置表的 nologging属性，即可减少redo数量。如果表上有索引，则append方式批量添加记录，不会减少索引上产生的redo数量，索引上的redo 数量可能比表的redo数量还要大。

7、 数据直接插入数据文件，绕过buffer cache并且忽略了引用完整性约束。

8、 不管表是否在nologging 下，只要是 direct  insert，就不会对数据内容生成undo。

9、 Oracle在Direct-Path INSERT 操作末尾，对具有索引的表执行索引维护，这样就避免了在drop掉索引后，再rebuild。

10、Direct-Path INSERT比常规的插入需要更多的空间。因为它将数据插入在高水位之上。并行插入非分区表需要更多的空间，因为它需要为每一个并行线程创建临时段。

11、在插入期间，数据库在表上获得排他锁，用户不能在表上执行并行插入、更新或者删除操作，并行的索引创建和build也不被允许。但却可以并行查询，但查询返回的是插入之前的结果集。

（5）、并行DML：

如果你的服务器有多个cpu，采用parellel hint，可以大幅度的提高效率

ALTER SESSION ENABLE PARALLEL DML;

INSERT /*+ PARALLEL(tableA, 2) */INTO tableA

SELECT * FROM tableB;

为了提高速度可以使用下面方法，来减少插入过程中产生的日志：

INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING

SELECT * FROM tableB;

oracle默认并不会打开PDML，对DML语句必须手工启用。即需要执行

alter table enable parallel dml命令。

并行DML特点：

1、在并行DML模式中，默认的就是DIRECT-PATH插入，为了运行并行DML模式，必须满足以下条件：

a、必须是Oracle企业版；

b、必须在session中使并行DML生效，执行以下sql语句：

ALTER SESSION { ENABLE | FORCE } PARALLEL DML;

c、必须指定table的并行属性，在创建的时候或者其他时候，或者在insert操作时使用“PARALLEL”提示。

d、为了使Direct-Path Insert模式失效，在INSERT语句中指定“NOAPPEND”提示，覆盖并行DML模式。

2、并行Direct-Path INSERT到分区表：

类似于serial Direct-Path INSERT，每个并行操作分配给一个或者多个分区，每个并行操作插入数据到各自的分区段的高水位标志之上，commit之后，用户就能看到更新的数据。

3、并行Direct-Path INSERT到非分区表：

每个并行执行分配一个新的临时段，并插入数据到临时段。当commit运行后，并行执行协调者合并新的临时段到主表段，用户就能看到更新的数据。

4、Direct-Path INSERT可以使用Log或者不使用Log。

5、另外不得不说的是，并行不是一个可扩展的特性，只有在数据仓库或作为DBA等少数人的工具在批量数据操作时利于充分利用资源，而在OLTP环境下使用并行需要非常谨慎。事实上PDML还是有比较多的限制的，例如不支持触发器，引用约束，高级复制和分布式事务等特性，同时也会带来额外的空间占用，PDDL同 样是如此。

转载于:https://my.oschina.net/u/229524/blog/49105