mysql以txt文本方式快速导入导出百万数据

1.先查看有没有设置权限

如果没有权限,会出现:
The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

show variables like '%secure%'; # 查看 secure-file-priv 当前的值是什么
show variables like '%local%'; # 查看 secure-file-priv 当前的值是什么

在这里插入图片描述
如果没有,则需要设置;
找到mysql安装目录的my.ini文件;
在[mysqld]最后插入:secure_file_priv=D:\xxx\xxlocal_infile=1导出备份的磁盘位置。
在这里插入图片描述

在my.ini配置文件 mysqld 节点下添加(数据小可以省略)
max_allowed_packet = 500M
也就是配置MySQL允许的最大数据包大小
然后重启数据库即可;

2.导出表到txt

select * from test_table ORDER BY createtime into outfile 'D:\temp\test.txt';

3.将源数据筛选后导入

使用cmd连接mysql时,加上显示指定参数:
mysql --local-infile -uroot -p;
use 数据库名;
load data local infile ‘D:/xxx/aa.txt’ into table sys_log(字段1,字段2);

LOAD DATA LOCAL INFILE 'E:\temp\test.txt' INTO TABLE test_table_sort (,c2,c3,...,c14,c15);

注意事项:
1.需要先开启文本导出权限
show global variables like ‘%secure%’; //查询设置
SHOW VARIABLES LIKE ‘%local%’; # 查询导入权限
2 secure_file_priv 值赋值为 “”
导入数据报错 (The used command is not allowed with this MySQL version)原因除了是mysql版本过低外,最有可能是因为设置禁止远程导入文件,所以navicat执行导入报错。可以在本机上cmd连接mysql后再执行。解决!
3 导入时可用 @变量名 指定某列值不导入;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值