Oracle插入大数据的方法总结

最新推荐文章于 2024-06-28 13:19:08 发布
最新推荐文章于 2024-06-28 13:19:08 发布
阅读量1.2k 收藏
点赞数
分类专栏： Oracle基础 文章标签： insert 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cbdba/article/details/16952569
版权
本文总结了在Oracle数据库中插入大数据的方法，包括使用INSERT语句配合hint，如nologging、append选项以及并行执行（parallel）。非归档模式下，append能减少redo日志，但可能造成空间浪费。同时，append会加锁表，影响并发操作。使用exp/imp或expdp/impdp也是另一种数据导入的方式。
摘要由CSDN通过智能技术生成

假设T1是待插入的表，数据来自T2（或者多表连接产生的临时表）

一、使用hint

INSERT   /*+ nologging  append  parallel(T1,4)*/   INTO  T1  SELECT   *   FROM   T2;

1

最低0.47元/天 解锁文章
bdba
关注
专栏目录
c#几种数据库的大数据批量插入（SqlServer、Oracle、SQLite和MySql）
01-20
在C#中处理大数据批量插入到数据库是提高性能的关键步骤，尤其当涉及到大量数据操作时。本文将介绍如何在SqlServer、Oracle、SQLite和MySql这四种常见数据库中进行批量插入。 1. **SqlServer数据批量插入** 使用`...
oracle插入大数据量
12-20
这个文件是用oracle的脚本的如的，往oracle中插入的数据量可能会使用
oracle大数据量插入
我的博客
12-15 2129
先把表设置nologging alter table MFGCREATE.tabxxx nologging; insert append插入 INSERT /*+ APPEND */ INTO MFGCREATE.tabxxx nologging( MFGDATE, PRODUCTFAMILY, HANDLE, WGHT_RUNTIME ) SELECT MFGDATE, PRODUCTFAMILY, HANDLE, WGHT_RUNTIME F.
Oracle中使用merge into解决插入大数据量缓慢问题
最新发布
weixin_53112703的博客
06-28 623
假设有两个表：source_table 和 target_table。我们希望根据 source_table 中的数据来更新或插入 target_table 中的数据。如果更新和删除同时存在，删除的条件一定要在更新的条件内，否则数据不能删除。1、on后面的关联条件成立时，可以update、delete。对此我们可以在Oracle中使用merge into解决。3、当源表中不存在数据，而目标表中存在的数据可以删除。2、on后面的关联条件不成立时，可以insert。可以只更新不删除 也可以只删除不更新。
【ORACLE】大数据快速插入
Ask Self，Ask Tomorrow
08-30 632
删除索引 数据量评估，确定分批字段 测试插入 分批插入 校验 恢复索引1.alter table TABLENAME nologging;--归档模式必须设置，最后logging 2.insert /*+ Append */ into TABLENAME(......) --和/*+ Append */ 配合效果最好/* append只在insert … select …中起作用，像i
oracle大数据块添加
07-18
/// /// 大数据块入库 /// /// /// public void BulkToDB(DataTable dt, string targetTable) { string err = "大批量插入时产生错误"; string conStr = PubConstant.ConnectionString; conStr = "Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.29.98)(PORT=1521)) (CONNECT_DATA=(SERVICE_NAME=ORCL)));User ID=bridgeSystest;Password=abc123"; Oracle.DataAccess.Client.OracleConnection conn = new Oracle.DataAccess.Client.OracleConnection(conStr); //System.Data.OracleClient.OracleConnection conn = new System.Data.OracleClient.OracleConnection(conStr); if (conn.State != ConnectionState.Open) { conn.Open(); } // Oracle.DataAccess.Client.OracleBulkCopy bulkCopy = new Oracle.DataAccess.Client.OracleBulkCopy(conn, OracleBulkCopyOptions.Default); Oracle.DataAccess.Client.OracleBulkCopy bulkCopy = new Oracle.DataAccess.Client.OracleBulkCopy(conn, OracleBulkCopyOptions.Default); bulkCopy.BatchSize = 100000; bulkCopy.BulkCopyTimeout = 260; bulkCopy.DestinationTableName = targetTable; try { if (conn.State != ConnectionState.Open) { conn.Open(); } // conn.Open(); if (dt != null && dt.Rows.Count != 0) { bulkCopy.WriteToServer(dt); } } catch (Exception ex) { // Log.WriteLog(err, ex); } finally { conn.Close(); if (bulkCopy != null) bulkCopy.Close(); } }
大数据写入到Oracle数据库（批量插入数据）
高彬的专栏
07-21 4581
大数据批量写入到Oracle数据库，对比：原生写法，EF写法，sqlsugar写法。
Oracle的CLOB大数据字段类型操作方法
12-16
Oracle数据库在处理大数据时，经常会遇到超过VARCHAR2字段类型所能容纳的数据量，此时就需要使用LOB（Large Object）数据类型，特别是对于存储大量字符数据的情况，CLOB（Character Large Object）类型就显得尤为...
.net实现oracle数据库中获取新插入数据的id的方法
01-20
以下是一个名为p_GetItemID的Oracle存储过程示例，它接收插入语句、序列名和一个输出参数ID，用于返回新生成的ID： ```sql CREATE OR REPLACE PROCEDURE p_GetItemID( strInsertSQL VARCHAR2, seqName VARCHAR2, ...
Oracle 插入大量数据
tianshibaijia
09-28 298
1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp， 2. 假如tab1表中的没有数据的话 DROP TABLE TAB1; CREATE TABLE TAB1 AS SELECT * FROM TAB2; 然后在创建索引 3. 用Hint 提示减少操作时间 INSERT /*+Append*/ INTO tab1...
oracle存储过程大数据量insert
浪缘的专栏
09-15 6374
对于大数据量的insert into select的做法，我个人来说不赞成这样做，现实也没这样做，对此，我通过oracle的存储过程写了个大数据量的insert into select 的分批插入方法，代码如下     view plain
ORACLE 大批量插入数据
qq_40399580的博客
12-13 7920
这种也是采用DML并发，适用于执行DML语句慢的应用场景。说明：这种方式只能按照串行的方式进行，如果有多个任务在同时进行，会导致进程等待，反而会影响传输的效率。但是源表的数据量是1亿的数据量，按照最普遍的方式 INSERT INTO 效率太低了。这种是采用INSERT 并发，适用于 查询快，插入慢的场景。注: 这种模式其实跟第三种差不多，只不过这种是会话级别的。这种采用DML并发，适用于执行DML语句慢的应用场景。这种采用查询并发，适用于插入快，查询慢的应用场景。3.插入和查询PARALLEL。
Oracle大批量插入数据
07-31 2025
1、在sql window中执行insert语句。这种方法就是如果数据量较少的时候会非常有效率，但是数据量大的时候（上万条或十多万以上），效率就会显得非常低下了。   2、使用PL/SQL自带工具进行导入： Tools-Import Tables，选择SQL Insert，在import file中选择需要执行插入语句的sql文件，然后点击Import按钮，就可以执行，   3、利用co
Oracle insert大数据量经验之谈
liuchen19911022的博客
06-05 264
我曾经试过insert 2.6亿行记录的一个表，8个分区，8个进程，如果用方法2，单个进程完成可能要40分钟，但是由于是有8个分区8个进程，后发进程有enqueue，所以因此需要的时间为40分钟×8;对于select之后的语句是全表扫描的情况，我们可以加parallel的hint来提高其并发，这里需要注意的是最大并发度受到初始化参数parallel_max_servers的限制，并发的进程可以通过v$px_session查看，或者ps -ef |grep ora_p查看。
基于Oracle的大数据导入方案探索
weixin_33727510的博客
12-23 126
数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服务平台的项目开发中，我需要设计一个能快速将40多万条数据导入Oracle数据库的方案，为了实现导入的高效，我通过在网上收集资料以及动手实践测试，得出了一些分析总结与大家分享探讨。 谈到数据导入功能的实现，无可厚非应该包括两个过...
oracle大数据量插入慢咋整
牛奶二的博客
03-10 3324
oracle大数据量插入慢咋整 alter index ind_t_object_id unusable; 下面是测试的过程： SQL> insert into milktest select * from all_objects; rollback; 72271 rows created. Elapsed: 00:00:02.71 SQL> Rollback c...
oracle基于3种方法的大数据量插入更新
热门推荐
u012431409的博客
07-23 1万+
过程插入更新的3种方法： a、逐条检查插入或更新，同时执行插入或更新 b、逐条merge into（逐条是为了记录过程日志与错误信息） c、基于关联数组的检查插入、更新，通过forall批量sql执行 以下为模拟步骤： 1、创建模拟大表，数据量1亿不分区create table big_table as SELECT ROWNUM RN,'A' A,'B' B,'C' C,'D' D
Oracle大数据面试题集锦
"该资源是一份关于Oracle大数据的面试题集，包含判断题和多选题，主要涉及Oracle数据库管理、性能优化、备份恢复、索引策略以及问题诊断等方面，适合准备面试的IT专业人士使用。" Oracle大数据相关知识点： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值