Mysql通过load data infile,20秒导入100W数据

3 篇文章 0 订阅

本篇博客主要讲将Excel表格百万数据转成csv文件导入到Mysql,用20多秒导入百万数据


测试环境:

Windows10 + Mysql-5.0.45-win64

注意:不同操作系统的回车换行不大一样,会得出不同的结果。

mysql Load Data InFile大量数据插入,load data infile语句以很高的速度从一个文本文件中读取行到一个表中


先将excel转成.csv文件,格式是"UTF-8",


如果是导入有中文的数据,我的mysql 设置的utf8 字符集,所以你要导入的 文件也要保存utf-8的字符集,数据表列的顺序必须和excel的对应,否则导入的数据会有错误,


数据表的列顺序必须和导入的excel列顺序一样,否者导入的数据不对,就会发生A列的数据导入到了B列中


下面写sql语句,我用的是windows+Mysql


注意: 文件路径名要上的 " \ "要变成 “ \\ ”或者 " / ",否则会报错

load data local infile 'C:/GoogleDownload/csv/tempdata.csv'
into table tablename
fields terminated by ',' enclosed by '\"' 

属性:

 tablename   要写入的数据表名

terminated by ','   -- 字段以”,“分隔

enclosed by   ' " ' --字段闭合标签


在使用load data到mysql的时候,有2种情况: 

1)在远程客户端(需要添加选项:--local-infile=1)导入远程客户端文本到mysql,需指定local(默认就是ignore,ignore选项会放弃数据,加replace选项会更新数据,都不会出现唯一性约束问题。 

2)在本地服务器导入本地服务器文本到mysql,不指定local,出现唯一性约束冲突,会失败回滚,数据导入不进去,这个时候就需要加ignore或者replace来导入数据。





load data是一个很有用的命令,而且命令的选项很多,但大多都用不到,如果真的需要,用的时候看看官方文档





  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值