mysql以txt文本方式快速导入导出百万数据

徐哥在线

于 2023-03-28 15:18:49 发布

阅读量796

点赞数

文章标签： mysql 数据库 java

本文链接：https://blog.csdn.net/weixin_45750721/article/details/129815730

版权

文章讲述了在MySQL中进行数据导出和导入的步骤，包括检查和设置secure-file-priv选项，修改my.ini配置文件，以及使用SELECTINTOOUTFILE和LOADDATALOCALINFILE命令。同时提到了可能遇到的问题，如权限限制和最大数据包大小的配置，并提供了相应的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.先查看有没有设置权限

如果没有权限，会出现：
The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

show variables like '%secure%'; # 查看 secure-file-priv 当前的值是什么
show variables like '%local%'; # 查看 secure-file-priv 当前的值是什么

在这里插入图片描述
如果没有，则需要设置；
找到mysql安装目录的my.ini文件；
在[mysqld]最后插入：secure_file_priv=D:\xxx\xx和local_infile=1导出备份的磁盘位置。

在my.ini配置文件 mysqld 节点下添加（数据小可以省略）
max_allowed_packet = 500M
也就是配置MySQL允许的最大数据包大小
然后重启数据库即可；

2.导出表到txt

select * from test_table ORDER BY createtime into outfile 'D:\temp\test.txt';

3.将源数据筛选后导入

使用cmd连接mysql时，加上显示指定参数:
mysql --local-infile -uroot -p;
use 数据库名;
load data local infile ‘D:/xxx/aa.txt’ into table sys_log(字段1,字段2);

LOAD DATA LOCAL INFILE 'E:\temp\test.txt' INTO TABLE test_table_sort (@c1,c2,c3,...,c14,c15);

注意事项：
1.需要先开启文本导出权限
show global variables like ‘%secure%’; //查询设置
SHOW VARIABLES LIKE ‘%local%’; # 查询导入权限
2 secure_file_priv 值赋值为 “”
导入数据报错（The used command is not allowed with this MySQL version）原因除了是mysql版本过低外，最有可能是因为设置禁止远程导入文件，所以navicat执行导入报错。可以在本机上cmd连接mysql后再执行。解决！
3 导入时可用 @变量名指定某列值不导入；