MYSQL导入数据load data infile三种方式

最新推荐文章于 2021-04-26 17:39:07 发布
最新推荐文章于 2021-04-26 17:39:07 发布
阅读量126 收藏
点赞数
文章标签： 数据库 python
原文链接：https://my.oschina.net/jiangmitiao/blog/639394
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

正常导入：

LOAD DATA LOCAL INFILE 'xxx.data'
INTO TABLE
dim_department_info
(a,b,c,d)

 

如果导入的数据中存在与唯一索引冲突的情况则需要以下两种导入方式：

LOAD DATA LOCAL INFILE 'xxx.data'
IGNORE INTO  TABLE
dim_department_info
(a,b,c,d)

 

如上，如果a,b是有唯一索引,则会忽视c，d

LOAD DATA LOCAL INFILE 'xxx.data'
REPLACE INTO   TABLE
dim_department_info
(a,b,c,d)

 

如上，如果a,b有唯一索引，则对c,d进行更新。

更多文章：http://blog.gavinzh.com

转载于:https://my.oschina.net/jiangmitiao/blog/639394

weixin_34162228
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql 8.0 load data_MySQL 8.0 多线程 load data infile
weixin_39677106的博客
01-30 489
测试环境：4 core CPU8 GB RAMSSD DiskCentos 7导入的文件load_data.csv，大约8G左右。单线程测试：mysql > load data infile '/usr/local/mysql/mysql-files/load_data.csv'into table single.single_load fields terminated by ',' op...
mysql导入数据的方式选择-LOAD DATA INFILE句法
wdt3385的专栏
11-15 1027
有三个办法，1.mysqlimport 2.load data 3才是source ，最好先去掉所有的索引，待数据完成导入后再一个个添加回 使用into outfile 和 load data infile导入导出备份数据 如果要导出一个表中的部分字段或者部分符合条件的记录，需要用到了mysql的into outfile 和 load data infile。 例如下面的mysql命令是
mysql批量导入日志的方法：load data命令
Jepson的博客
06-27 2395
load命令 load data infile 语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前，mysqld进程（服务）必须已经在运行。由于安全原因，当读取位于服务器上的文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上必须有file的权限。 基本语法： load data [low_priority] [local] infile 'file_name.csv' [replace | ignore] 　　into
mysql load data infile
leijuly'blog
09-20 482
如何提高mysql load data infile的速度测试数据2.5G，共有数据9427567条。用的mysql的large服务器的配置。load一次需要大概10分钟左右。建的表用的是MYISAM，调整了几个session的参数值SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;SET SESSION MYISA
MySQL load data infile总结
yf9595的博客
07-18 7506
1、基本用法（导入文件test.txt到table1表中，txt文件中的行分隔符为\r\n，默认tab键为字段分隔符，txt文件中的每个字段按顺序对应column1、column2，。。。导入表中） load data infile "/test.txt" into table1 lines terminated by '\r\n' (colunm1,colunm2,...) 2、如果字段分隔...
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
"Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL" Java大批量导入MySQL是一种高效的数据导入方式，使用MYSQL的LOAD DATA LOCAL INFILE语句可以快速地从一个文本文件中读取行，并装入一个表中。...
mysql Load Data InFile 的用法
09-11
`LOAD DATA INFILE` 是 MySQL 数据库中一种高效的数据导入工具，它允许用户从外部文本文件快速批量导入数据到数据库的表中。相比于使用 `INSERT INTO` 语句逐条插入，`LOAD DATA INFILE` 在处理大量数据时速度显著更...
MySQL中使用load data命令实现数据导入的方法
09-10
`LOAD DATA INFILE`命令就是MySQL提供的一种高效的数据导入方法，它相较于使用`INSERT`语句逐行插入数据，其速度优势显著，官方宣称能快20倍，这使得它成为处理大量数据导入的首选工具。 `LOAD DATA INFILE`的基本...
mysql 的load data infile
09-11
MySQL的`LOAD DATA INFILE`语句是用于快速导入大量数据到数据库表中的高效工具，尤其适合处理批量插入或更新操作。在开发舆情监测系统时，使用此功能可以显著提高数据插入的效率，避免逐条插入的低效方式。 `LOAD ...
Mysql中load data infile主从复制注意点
sawen21的专栏
04-22 1603
本文转自我的原创blog:http://www.javali.org/document/tips-on-replication-in-load-data-infile-in-mysql.html 在mysql官方文档的描述里，load data infile加载数据要比普通的insert快20倍，可以说是插入数据最快的方式了，所以在很多场合都会用它来提升入库速度。 那它在主
mysql 单sql最大时间_MySQL系列分析Sql执行时间及查询执行计划(附数据库和一千万数据)...
weixin_28852151的博客
02-01 813
北京时间周一晚9点28分，文章走起。写给自己看的，总结下学习知识，梳理下知识点。Netty系列文章先告一段落了，因为这些知识已经满足我当前工作的需求。后续项目中遇到问题和问题解决，会继续更新Netty相关文章。哈哈哈 啰嗦的话有点多。接下来我将更新MySQL系列的文章，主要涉及MySQL的索引、调优、整体架构、引擎、分库分表、扩容、索引的深入探究等等。感兴趣的可以持续关注，不感兴趣的略过...
mysql导入数据load data infile注意事项
Jarvis的博客
11-25 2648
注意注意： 1.在远程客户端使用load data infile的话，需要添加FILE权限。 2.如果是导入有中文的数据，我的mysql 设置的utf8 字符集，所以你要导入的xxx.txt 文件也要保存utf-8的字符集。 3.在远程客户端（需要添加选项：--local-infile=1）导入远程客户端文本到MySQL，需指定LOCAL（默认就是ignore）,加ignore选项会放弃
python 批量创建线程_Python多线程批量插入数据小结
weixin_39990558的博客
12-06 556
在测试的过程中，无法避免的需要做一些性能压测，造数据的时长在此时就会备受关注。比如，造数据的时候用多线程还是多进程，用直接插入DB方式还是用先写文件后导入mysql的方式，写文件是写批量sql后面source导入，还是写文本格式后面load ito file导入，使用不同的方法耗时结果肯定是不一样的。除此之外，还有mysql的版本，DB的引擎，表的结构设计这些都会影响大量数据插入的时间。这次导入数...
LOAD DATA LOCAL INFILE（导入1684472条数据用时42.87s）
大猴子
01-08 4703
性能数据:导入1684472条数据用时42.87s(i5-6300hq,8G内存)故事： 曾经年少无知，在某度云下载了无数的废弃裤子下来自己整合，大部分格式如下图① 最开始的时候自己写java方法用多线程导入数据库， 后来因为经常出错，又发现navicat有导入功能，转navicat, 后来又因为数据量太大，无奈等不起， 继续上网找方法，发现mysql有LOAD DATA LOCAL IN
mysql导入数据load data infile用法整理
weixin_33974433的博客
12-31 411
有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取...
mysql使用load data infile的一些解决方法
martinue
10-25 2698
mysql 使用load data infile的时候遇到的一些问题以及解决方法： http://blog.csdn.net/yangguangqizhi/article/details/50505059 http://hunan.iteye.com/blog/752606
mysql使用load data local infile导入数据Error 3948和Error 2068
JiananLiu2020的博客
04-26 8897
mysql使用load data local infile导入数据Error 3948和Error 2068 尝试用mac的terminal登陆mysql导入本地数据，文件比较大，先后遇到了Error 3948和Error 2068两个报错。 Error 3948 ERROR 3948 (42000): Loading local data is disabled; this must be enabled on both the client and server sides，报错原因针对全局变量loca
MySQL(win10)数据导入错误，错误代码3948究极解决方案 2020-12-17
AI_SupplyChain的博客
12-17 1658
MySQL 版本： 操作系统：Windows 10 错误原码： Error Code: 3948. Loading local data is disabled; this must be enabled on both the client and server 说明： 为什么会出现这个问题： 这是因为新版本的MySQL 默认禁止加载本地文件，所以在第一次使用MySQL导入数据的新手来说，会遇到这个问题。 重新设定参数和设置后，重启MySQL Workbench ， 后面再导入数据就不会出现该问题；
mysql load data infile 报错
最新发布
03-16
当使用MySQL的load data infile命令时，可能会遇到以下报错： 1. ERROR 1045 (28000): Access denied for user 'user'@'localhost' (using password: YES) 这个错误表示用户没有足够的权限来执行load data infile...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值