Oracle插入大数据的方法总结

最新推荐文章于 2022-12-13 11:24:15 发布
最新推荐文章于 2022-12-13 11:24:15 发布
阅读量1.2k 收藏
点赞数
分类专栏： Oracle基础 文章标签： insert 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cbdba/article/details/16952569
版权
本文总结了在Oracle数据库中插入大数据的方法，包括使用INSERT语句配合hint，如nologging、append选项以及并行执行（parallel）。非归档模式下，append能减少redo日志，但可能造成空间浪费。同时，append会加锁表，影响并发操作。使用exp/imp或expdp/impdp也是另一种数据导入的方式。
摘要由CSDN通过智能技术生成

假设T1是待插入的表，数据来自T2（或者多表连接产生的临时表）

一、使用hint

INSERT   /*+ nologging  append  parallel(T1,4)*/   INTO  T1  SELECT   *   FROM   T2;

1

最低0.47元/天 解锁文章
bdba
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oracle插入大数据量
12-20
这个文件是用oracle的脚本的如的，往oracle中插入的数据量可能会使用
oracle大数据块添加
07-18
/// <summary> /// 大数据块入库 /// </summary> /// <param name="dt"></param> /// <param name="targetTable"></param> public void BulkToDB(DataTable dt, string targetTable) { string err = "大批量插入时产生错误"; string conStr = PubConstant.ConnectionString; conStr = "Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.29.98)(PORT=1521)) (CONNECT_DATA=(SERVICE_NAME=ORCL)));User ID=bridgeSystest;Password=abc123"; Oracle.DataAccess.Client.OracleConnection conn = new Oracle.DataAccess.Client.OracleConnection(conStr); //System.Data.OracleClient.OracleConnection conn = new System.Data.OracleClient.OracleConnection(conStr); if (conn.State != ConnectionState.Open) { conn.Open(); } // Oracle.DataAccess.Client.OracleBulkCopy bulkCopy = new Oracle.DataAccess.Client.OracleBulkCopy(conn, OracleBulkCopyOptions.Default); Oracle.DataAccess.Client.OracleBulkCopy bulkCopy = new Oracle.DataAccess.Client.OracleBulkCopy(conn, OracleBulkCopyOptions.Default); bulkCopy.BatchSize = 100000; bulkCopy.BulkCopyTimeout = 260; bulkCopy.DestinationTableName = targetTable; try { if (conn.State != ConnectionState.Open) { conn.Open(); } // conn.Open(); if (dt != null && dt.Rows.Count != 0) { bulkCopy.WriteToServer(dt); } } catch (Exception ex) { // Log.WriteLog(err, ex); } finally { conn.Close(); if (bulkCopy != null) bulkCopy.Close(); } }
oracle大数据量插入
糯米鸡的博客
12-15 2108
先把表设置nologging alter table MFGCREATE.tabxxx nologging; insert append插入 INSERT /*+ APPEND */ INTO MFGCREATE.tabxxx nologging( MFGDATE, PRODUCTFAMILY, HANDLE, WGHT_RUNTIME ) SELECT MFGDATE, PRODUCTFAMILY, HANDLE, WGHT_RUNTIME F.
【ORACLE】大数据快速插入
Ask Self，Ask Tomorrow
08-30 620
删除索引 数据量评估，确定分批字段 测试插入 分批插入 校验 恢复索引1.alter table TABLENAME nologging;--归档模式必须设置，最后logging 2.insert /*+ Append */ into TABLENAME(......) --和/*+ Append */ 配合效果最好/* append只在insert … select …中起作用，像i
Oracle 插入大量数据
tianshibaijia
09-28 291
1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp， 2. 假如tab1表中的没有数据的话 DROP TABLE TAB1; CREATE TABLE TAB1 AS SELECT * FROM TAB2; 然后在创建索引 3. 用Hint 提示减少操作时间 INSERT /*+Append*/ INTO tab1...
大数据写入到Oracle数据库（批量插入数据）
高彬的专栏
07-21 4421
大数据批量写入到Oracle数据库，对比：原生写法，EF写法，sqlsugar写法。
Oracle的CLOB大数据字段类型操作方法
09-09
总结来说，Oracle的CLOB类型是处理大数据字段的关键，它弥补了VARCHAR2类型的不足，为大数据存储提供了可靠的解决方案。在实际开发中，熟练掌握CLOB的使用方法，可以有效地管理大量的文本信息，提高系统的存储效率和...
大数据治理之oracle篇章.docx
08-25
总结而言，"大数据治理之Oracle篇章"提供了全面的指导，涵盖了从问题检测到解决方案实施的整个过程，旨在帮助企业在处理大数据时，充分利用Oracle的功能，实现高效、稳定的数据管理。通过实践这些方法和技巧，企业...
详解Oracle修改字段类型方法总结
12-16
总结来说，Oracle中修改字段类型主要考虑以下几个方面： 1. **无数据或新旧类型兼容**：可以直接使用`ALTER TABLE MODIFY`语句进行修改。 2. **有数据且新旧类型不兼容**：需要创建新字段，转移数据，再删除旧字段。...
oracle存储过程大数据量insert
浪缘的专栏
09-15 6354
对于大数据量的insert into select的做法，我个人来说不赞成这样做，现实也没这样做，对此，我通过oracle的存储过程写了个大数据量的insert into select 的分批插入方法，代码如下     view plain
Oracle大批量插入数据
07-31 1901
1、在sql window中执行insert语句。这种方法就是如果数据量较少的时候会非常有效率，但是数据量大的时候（上万条或十多万以上），效率就会显得非常低下了。   2、使用PL/SQL自带工具进行导入： Tools-Import Tables，选择SQL Insert，在import file中选择需要执行插入语句的sql文件，然后点击Import按钮，就可以执行，   3、利用co
基于Oracle的大数据导入方案探索
weixin_33727510的博客
12-23 122
数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服务平台的项目开发中，我需要设计一个能快速将40多万条数据导入Oracle数据库的方案，为了实现导入的高效，我通过在网上收集资料以及动手实践测试，得出了一些分析总结与大家分享探讨。 谈到数据导入功能的实现，无可厚非应该包括两个过...
ORACLE大数据量导入TB级别
DKFLEE的博客
04-11 1613
1、先创建对应表空间，保证表空间容量充足；2、优化回滚表空间，用户表空间，临时表空间数据存储方式3、进行第一次导入，查看导入日志确定所缺用户和表空间名称3、如果有原用户，尽量使用原用户名称，如果没有，使用remap_schema替换用户；将所有表空间替换成本地表空间remap_tablespace4、进行第二次导入，导入表结构 include=tables,package,function,tri...
oracle insert 大量数据
01-15 697
当需要对一个非常大的表INSERT的时候，会消耗非常多的资源，因为update表的时候，oracle需要生成 redo log和undo log; 此时最好的解决办法是insert数据时, 将表设置为nologging...
ORACLE 大批量插入数据
最新发布
qq_40399580的博客
12-13 7607
这种也是采用DML并发，适用于执行DML语句慢的应用场景。说明：这种方式只能按照串行的方式进行，如果有多个任务在同时进行，会导致进程等待，反而会影响传输的效率。但是源表的数据量是1亿的数据量，按照最普遍的方式 INSERT INTO 效率太低了。这种是采用INSERT 并发，适用于 查询快，插入慢的场景。注: 这种模式其实跟第三种差不多，只不过这种是会话级别的。这种采用DML并发，适用于执行DML语句慢的应用场景。这种采用查询并发，适用于插入快，查询慢的应用场景。3.插入和查询PARALLEL。
JAVA Oracle插入大量数据优化
持续学习，持续更新
08-29 2710
关键代码在于在插入数据之前，先把自动提交关闭，之后把数据全放进缓存之后，手动一次提交。在数据字段少的情况下，插入速度很快在对于字段多达两百个的就会越来越慢，看下面的代码。
【Oracle】快速向表中插入大量数据Oracle中append与Nologging
一只蓝精灵
08-28 1561
1. 不管哪种模式下append要与nologging方式联用才能达到很好的效果。 2. 非归档与归档方式，只用NOLOGGING是不起效果的。 3. 非归档下append已达到不错的效果，但不及与nologging的联用方式。 4. 归档下单append起不到效果。 另外，如果库处在FORCELOGGING模式下，此时的nologging方式是无效的。...
大数据Oracle理论+SQL+面试问题汇总+BI理论
05-02
"本课程是针对大数据行业，特别是Oracle数据库开发和BI开发的专业教程，涵盖了Oracle理论基础，SQL深入解析，面试常见问题以及BI理论知识。课程内容包括Oracle的安装，用户管理，PL/SQL Developer工具的使用，SQL的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值