如何一次高效的插入200MB(50万条)的insert语句

最新推荐文章于 2023-10-20 15:13:34 发布
最新推荐文章于 2023-10-20 15:13:34 发布
阅读量3.7k 收藏
点赞数 1
文章标签： oracle SQL insert 200MB的insert数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35002353/article/details/81319966
版权

那天老大给了我一个100M的一个txt文档，我点开后发现都是Insert语句，当时就懵了这插入不得卡死啊，况且服务器都是远程的。

之后我直接就把pl/sql等一些可视化操作界面都抛一边了，原因：可视化界面在执行SQL时候会自己先编译一遍，之后才会插入数据缓存中，这样算下来得走四五个流程。这么多的数据直接造成卡死。

我查看了一下这张数据表，外键好多啊，主键还有各种触发器，妈呀，这是要我命啊，这得插到猴年马月去啊。这下我先备份了一下表结构表关系等，之后我把它门之间的关系都给删除，就剩下一张干净的表了。

这下差不多了，好了，启动 sqlplus连接上远程数据库  @表,sql   不对，等等好像是个txt文档啊，还有中文字符串，哎会乱码啊

之后我查了数据库的语言格式，然后将本地的语言格式也设置成与数据库一致（如何设置自行上网百度），然后把txt文档另存为sql文件并且调整了编码格式

这下可以插入了吧，不对我记得好像是insert后需要进行commit提交，那这样数据不是先存到缓存中了吗？哎，不行得写个脚本让文件每1000条insert添加一个commit; 

nice这下准备工作完成，@C:/520.sql 

坐等1小时......

尼斯没有湖
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Mysql 向表中插入50万条数据（生成随机字符串和 插入的时间间隔是60s）。
michael1112的专栏
08-14 1417
/*rand_string: 生成一个长度为n的随机字符。 注意这个n必须小于'abcdefghijklmnopqrstuvwxyz0123456789' 的长度*/ DROP FUNCTION IF EXISTS rand_string; DELIMITER $$ CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255) BEGIN ...
mysql存储过程插入40W条数据
sky
07-24 625
创建表use test; drop table if exists enterprise; create table enterprise( id bigint(20) not null AUTO_INCREMENT, name varchar(36), status TINYINT DEFAULT '1', primary key (id) )ENGINE=
利用存储过程插入50W+数据
weixin_33842328的博客
07-13 148
转自：https://www.aliyun.com/jiaocheng/1396184.html 首先,建立部门表和员工表： 部门表:     create table dept(   id int unsigned primary key auto_increment,   deptno mediumint unsigned not null default 0,  ...
mysql 多进程 分批_php 多进程分批插入 50 万条数据 对比 单进程一次插入 50 万条数据性能问题？？...
weixin_32049085的博客
02-05 240
多进程插入 50 条数据代码$num = 50 * 10000; // 插入的数量$tb_name = 'test_tb';$sex_range = array("男" , "女" , "两性" , "未知" , "male" , "female" , "both" , "unknow");$sex_range_count = count($sex_ra...
在 SQL 中 快速 批量 插入数据的方法
weixin_30624825的博客
01-11 1215
方法1：逐条执行，速度慢。 INSERT INTO testimport (name, message) VALUES ('testname', 'jfksdfkdsfjksadljfkdsfjsdlafjdaslkfjasfd'); INSERT INTO testimport (name, message) VALUES ('testname', 'jfksdfkds...
sql经典语句一部分
07-31
13、说明：一条sql 语句搞定数据库分页 select top 10 b.* from (select top 20 主键字段,排序字段 from 表名 order by 排序字段 desc) a,表名 b where b.主键字段 = a.主键字段 order by a.排序字段 具体实现： ...
经典SQL语句大全
12-20
13、说明：一条sql 语句搞定数据库分页 select top 10 b.* from (select top 20 主键字段,排序字段 from 表名 order by 排序字段 desc) a,表名 b where b.主键字段 = a.主键字段 order by a.排序字段 具体实现： ...
数据库操作语句大全(sql)
08-15
13、说明：一条sql 语句搞定数据库分页 select top 10 b.* from (select top 20 主键字段,排序字段 from 表名 order by 排序字段 desc) a,表名 b where b.主键字段 = a.主键字段 order by a.排序字段 具体实现： ...
SQL sever 实训
06-28
--计算有多少种产品（假设为x），然后显示一条信息：共有X种产品 DECLARE @X int SET @X =(SELECT COUNT (*) FROM Product ) PRINT '共有'+convert (char(2),@x)+'种产品。' GO --编写计算n!(n=20)的程序，并...
插入50万条记录到mysql_mysql（表：InnoDB，无索引），批量插入50万条记录后，越来越慢。...
weixin_29008805的博客
01-21 630
插入10000条，已用时0秒插入20000条，已用时2秒插入30000条，已用时3秒插入40000条，已用时3秒插入50000条，已用时4秒插入60000条，已用时5秒插入70000条，已用时6秒插入80000条，已用时7秒插入90000条，已用时8秒插入100000条，已用时9秒插入110000条，已用时11秒插入120000条，已用时12秒插入130000条，已用时13秒插入140000条，已...
快速执行大量 insert 语句的方法
cuantangnie3915的博客
12-11 1606
有时候，需要在数据库中执行大量的 INSERT 语句。 如果在 SQLPLUS 或 PL SQL Developer 中调用脚本而不加任何处理直接执行的话，效率会非常的低。 类似下面的方法执行 With the...
往数据类型为clob的表列直接insert或update长度大于4000会报字符串太长错误
cuanliao6741的博客
07-19 556
SQL> drop table t; Table dropped SQL> create table t(para2 clob); Table created直接更新：SQL> update t set par...
SQL*PLUS对文本长度的限制
最新发布
小栗子的博客
10-20 1238
收到错误SP2-0027：输入太长(> 2499个字符)-行被忽略输入的SQL文本本身太长，单行超过2500个字符，与数据库内部的数据无关，是对SQLPlus具有命令行大小限制。此外单条SQL语句长度不能超4000，但是使用过程无限制。
向Mysql批量插入50万条数据
深圳克林斯曼
11-03 2210
》批量插入数据脚本 表Sql： CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, dname VARCHAR(20) NOT NULL DEFAULT '', loc VARCHAR(13) NOT NULL DEFAU...
【Mysql】大批量(百万级)数据插入数据库应该怎么做(提高效率)？
热门推荐
小树じ的博客
04-07 1万+
一：在数据库中进行操作 1.合并sql语句(一个sql插入单条数据转为一个sql插入多条数据) 一个sql插入一条数据： insert into table_name(id,name) values(1,"小明"); insert into table_name(id,name) values(2,"小红"); 一个sql插入多条数据: insert into table_name(id,name) values(1,"小明")(2,"小红"); 原因：合并后减少了日志生成量 2.
50万条数据保存到数据库
u013984428的博客
05-04 2299
load data infile 'D:/yaoding/gitDataSource/ceeasPython/sqlFiles/insertCollegeCutoff.txt' ignore into table college_cutoff fields terminated by ',' enclosed by '"' lines terminated by '\r\n' (`COLLEGEI
一次性批量插入数据库时，导致CPU使用率突然很高，无法成功执行插入
I_will_try的博客
07-31 2963
1 问题描述 原文：http://www.jianshu.com/p/30ca7189c43f 当一次性生成大量优惠券时，发现后台cpu使用率突然很高，无法成功生成券。 2 排查过程 发现DAO层的Mapper.xml配置文件中，插入的SQL配置如下：【不正常】 insert id="batchInsert" useGeneratedKeys="true" keyProper
mysql8insert一次能插入多条语句吗
04-27
是的，MySQL 8.0版本开始支持INSERT INTO语句一次插入多行数据。可以使用以下语法： ``` INSERT INTO table_name (column1, column2, column3, ...) VALUES (value1, value2, value3, ...), (value1, value2, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值