使用MySQL导入亿级数据:load data local infile

使用MySQL命令load data local infile导入亿级数据

需求

研究车联网,手中有一个16G左右的数据,为了能够方便处理数据,需要将数据存入MySQL中

解决方案

1、使用 Navicat

1、先建表
2、导入向导,选择源文件的格式

导入小数据速度还可以,但是尝试导入亿级数据时,粗略计算需要一星期(最终放弃)

2、使用load data local infile

1、先建表
2、管理员启动cmd ,启动 mysql

mysql -u root -p --local-infile=1

3、使用 load data local infile 命令导入数据

load data local infile "文件/位置" into table 数据库名.表名 fields terminated by '分隔符';

例如
文件路径 / ,最好不要存在中文

load data local infile "D:/koln.txt" into table cologne.koln1 fields terminated by ' ';
遇到的问题1:ERROR 1148 (42000)
ERROR 1148 (42000): The used command is not allowed with this MySQL version
解决办法

查看 local_infile 的设置是否为off(分步执行下面命令;然后重启mysql)一定要重新启动
查看 local_infile 的状态

SHOW GLOBAL VARIABLES LIKE 'local_infile';

如果是off,使用命令设置为on

SET GLOBAL local_infile = 'ON'; 

再次确认是否设置成功

SHOW GLOBAL VARIABLES LIKE 'local_infile';

然后重启mysql,再执行载入数据命令

3、结果

3.5亿的数据,五个小时左右
在这里插入图片描述

  • 14
    点赞
  • 52
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
MySQL的`LOAD DATA LOCAL INFILE`命令中,当导入数据时,MySQL会根据数据文件中的内容来进行数据类型推断。如果数据文件中的某一列被解释为整数类型,而实际上该列包含了字符串数据(如VARCHAR类型),那么MySQL会尝试将该列转换为整数类型。 这种情况下,可能是由于数据文件中的某些行中的数据不符合该列定义的数据类型,导致了自动转换错误。MySQL会根据一些规则进行自动转换,例如将非数字字符转换为0或忽略该行数据。 为了避免这种情况,你可以在`LOAD DATA LOCAL INFILE`命令中明确指定每列的数据类型,而不依赖于自动推断。使用`FIELDS TERMINATED BY`和`LINES TERMINATED BY`来指定字段和行的分隔符,并使用`SET`关键字来指定每列的数据类型。 例如,假设你有一个包含字符串的CSV文件(以逗号分隔),其中一列应该是VARCHAR类型。你可以使用以下命令来导入数据并明确指定数据类型: ```sql LOAD DATA LOCAL INFILE 'data.csv' INTO TABLE your_table FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (column1, @var1, column3) SET column2 = CAST(@var1 AS VARCHAR(255)); ``` 在上面的命令中,我们使用了一个用户变量`@var1`来临时存储数据,并使用`CAST`函数将其转换为VARCHAR类型,并将其赋给目标列`column2`。 通过明确指定每列的数据类型,你可以确保导入数据时不会发生意外的类型转换。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值