【MySQL】导入千万级别 csv 文件

GStarP

于 2020-03-10 16:52:55 发布

阅读量2.7k

点赞数

分类专栏：数据库文章标签： mysql csv

本文链接：https://blog.csdn.net/hxw3274743/article/details/104777537

版权

本文介绍了在Windows 10环境下，如何使用MySQL 5.7.29快速导入千万级别的CSV文件。针对文件路径、LOAD DATA命令错误及CSV文件列名等问题提出了解决方案，包括通过修改my.ini配置文件、使用Linux服务器删除文件第一行以及利用splitcsv工具分割文件等方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：向本地 mysql 中导入 ratings.csv 文件（27773444 条记录）

环境：Win 10 + MySQL 5.7.29

不要使用 MySQL Workbench 的导入功能！对于数量庞大的数据导入极慢！

解决方案：通过命令行导入（要求列与列之间以 英文逗号 分割，若字段中含有 , 则以 " 包裹）

load data infile 'D:/mysql-5.7.29-winx64/files/ratings_5.csv' into table ratings fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n';

踩坑一：文件路径用 \ 分割会报错，用 / 可（用 \\ 应该也可）

踩坑二：load data 命令报错

ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

在 my.ini 中加入（空字符串代表允许从一切目录导入）

[mysqld]
secure-file-priv=''

然后再

最低0.47元/天解锁文章