oracle 百万级insert,Oracle高效插入大量数据

最新推荐文章于 2024-02-28 16:25:56 发布
最新推荐文章于 2024-02-28 16:25:56 发布
阅读量2.8k 收藏
点赞数
文章标签： oracle 百万级insert

需求：数据迁移，从远端数据库查询数据写入到生产库中。

遇到问题，数据量为千万级别(具体是6千多万条记录的数据)，直接使用insert into  目标表 select * from 数据源表。

因为目标表本身有上千万数据，且有主键和索引，导致写表非常慢。

执行了5,6个小时还没跑完，第二天看索性plsqldev已经卡死了。

只能强行杀掉了plsqldev的进程。

再看看数据，一条都没写进去，有点崩溃。。。

weixin_39636857
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Oracle+Mybatis的foreach insert批量插入报错的快速解决办法
09-01
本文给大家介绍Oracle+Mybatis的foreach insert批量插入报错的快速解决办法，非常不错，具有参考借鉴价值，感兴趣的朋友参考下吧
ORACLE 大批量插入数据
qq_40399580的博客
12-13 7181
这种也是采用DML并发，适用于执行DML语句慢的应用场景。说明：这种方式只能按照串行的方式进行，如果有多个任务在同时进行，会导致进程等待，反而会影响传输的效率。但是源表的数据量是1亿的数据量，按照最普遍的方式 INSERT INTO 效率太低了。这种是采用INSERT 并发，适用于 查询快，插入慢的场景。注: 这种模式其实跟第三种差不多，只不过这种是会话级别的。这种采用DML并发，适用于执行DML语句慢的应用场景。这种采用查询并发，适用于插入快，查询慢的应用场景。3.插入和查询PARALLEL。
Oracle 直接路径插入（Direct-Path Insert）
最新发布
Vincent的博客
02-28 1111
直接路径插入（Direct Path Insert）是Oracle一种数据加载提速技术，可以在使用insert语句或SQL*Loader工具大批量加载数据时使用。直接路径插入处理策略与普通insert语句完全不同，Oracle会通过牺牲空间，安全性，并发性能来换取加载速度。
如何在Oracle中批量添加百万条测试数据
Jekin_KE的博客
12-05 7341
首先我们需要建立一个表为tb_1，在里面添加一个（或多个）字段。这里我只添加一个字段为name并添加一行数据。然后我们可以在这个表中添加百万条数据，方法如下： 一.借助Oracle中的dual表 select * from tb_1,(select level from dual connect by level <= 500000); ...
Oracle高速批量速插入数据解决方案
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
10-28 3078
Oracle高速批量速插入数据解决方案
oracle/pg插入大量数据30万条
单人影的博客
08-18 1197
oracle/pg 插入大量数据
insert大量数据经验之谈
12-14
在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。 　　前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待insert完成后再建索引和约束。 　　1. 　　insert into tab1 select * from tab2; 　　commit; 　　这是基础的insert语句，我们把tab2表中的数据insert到tab1表中。根据经验，千万级的数据可在1小时内完成。但是该方法产生的arch会非常快，需要关注归档的产生量，及时启动备份软件，避免arc
mysql千万级数据查询select、插入insert慢 可能原因总结
Murinedj的博客
09-09 5274
最大数据量设置10241024;– 设置超时时间10241024*1024;– 查询buffer类全局字段设置10246000;10241000;– 查询所有参数设置– 关闭唯一性检查– 禁用外键检查语句为：– 禁止自动提交语句为：#禁止时时同步日志到磁盘# 配置max_allowed_packet为1G– mysql日志大小。
百万级数据插入方法效率对比
prospertu的专栏
03-23 5704
第1种：insert into效率比较慢，但是insert into select会优于其他的先select后插入的 第2种 表值参数批量插入，这个是针对SQL2008以上版本的，速度更快些 使用事务和SqlBulkCopy批量插入数据 SqlBulkCopy是.NET Framework 2.0新增的类，位于命名空间System.Data.SqlClient下，主要提供把其他数据源的...
从Oracle数据库中读取数据自动生成INSERT语句的方法
01-21
Oracle INSERT 语句 方法1 我估计有点 SQL 基础的人都会写 INSERT 语句。下面是 SQL 标准写法。 INSERT INTO employees (employee_id, name) VALUES (1, 'Zhangsan'); INSERT INTO employees VALUES (1, 'Shangbo')...
Oracle批量插入数据的三种方式【推荐】
12-15
insert into tableName(column1, column2, column3...) values(value1,value2,value3...); insert into tableName(column1, column2, column3...) values(value1,value2,value3...); insert into tableName...
Oracle插入日期数据常见的2个问题和解决方法
09-10
主要介绍了Oracle插入日期数据常见的2个问题和解决方法,一个是提示无效的月份问题,一个是日期插入格式问题,需要的朋友可以参考下
python 插入日期数据到Oracle实例
09-08
主要介绍了python 插入日期数据到Oracle实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
SQL 快速插入数据 1000万条数据
JAVA_thankyou的博客
11-11 1312
insert into 表名 select generate_series(0,10000000),md5(random()::text),clock_timestamp();
Mysql如何快速制造千万级上亿条数据？
qq_34254462的博客
03-29 841
Mysql如何快速制造千万级上亿条数据？
oracle千万数据分批插入,orcle 如何快速插入百万千万条数据
weixin_42303568的博客
04-04 5851
有时候做实验测试数据用到大量数据时可以用以下方法插入：方法一：使用xmltablecreate table bqh8 as select rownum as id from xmltable('1 to 10000000');select count(*) from bqh8;-----------------------一千万条数据已插入。方法二：使用dual+connect by levelc...
Oracle insert大数据量经验之谈
zwj1030711290的CSDN
04-24 5658
在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。 　　前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待insert完成后再建索引和约束。 　　1. 　　insert into tab1 select * from tab2;  　　co
oracle 百万级数据插入 mybatisplus
07-28
你可以使用MyBatis Plus来进行Oracle数据库的百万级数据插入操作。下面是一个简单的示例： 1. 首先，确保你已经正确配置了MyBatis Plus和Oracle数据库的连接。 2. 创建一个实体类，用于映射数据库表的结构。例如，假设你有一个名为"User"的表，包含"id"和"name"两个字段，那么可以创建一个对应的User实体类： ```java public class User { private Long id; private String name; // 省略getter和setter方法 } ``` 3. 创建一个Mapper接口，用于定义数据库操作的方法。在该接口中，添加一个批量插入数据的方法： ```java @Mapper public interface UserMapper extends BaseMapper<User> { void batchInsert(List<User> userList); } ``` 4. 在对应的Mapper XML文件中，实现批量插入数据的SQL语句： ```xml <insert id="batchInsert" useGeneratedKeys="true" keyProperty="id"> insert into user (id, name) values <foreach collection="list" item="item" separator=","> (#{item.id}, #{item.name}) </foreach> </insert> ``` 5. 在需要进行百万级数据插入操作的地方，注入UserMapper，并调用batchInsert方法即可： ```java @Autowired private UserMapper userMapper; public void insertMillionData() { List<User> userList = new ArrayList<>(); // 构造百万条数据并添加到userList中 userMapper.batchInsert(userList); } ``` 通过以上步骤，你就可以使用MyBatis Plus实现Oracle数据库的百万级数据插入操作了。记得根据实际情况进行调整和优化，例如使用分批次插入、开启批量操作等方式来提高性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值