mysql 导入tsv文件,MySQL导出TSV格式文件

可以使用mysqldump, 也可以使用mysql -e

使用mysqldump

因为要使用到 -T / --tab 参数, 需要先查看mysql设置的secure_file_priv

mysql> select @@secure_file_priv;

+-----------------------+

| @@secure_file_priv |

+-----------------------+

| /var/lib/mysql-files/ |

+-----------------------+

1 row in set (0.00 sec)

在使用 -T / --tab 参数时, 必须使用上面的地址, 否则会报如下错误

mysqldump: Got error: 1290: The MySQL server is running with the --secure-file-priv option so it cannot execute this statement when executing 'SELECT INTO OUTFILE'

于是导出的命令为

sudo mysqldump -h 127.0.0.1 -u root -p -T /var/lib/mysql-files/ demodb demo_table

如果当前用户在此目录无写权限, 需要使用sudo. 在 /var/lib/mysql-files/ 路径下会生成对应table的sql文件和txt文件, 其中sql文件存储的是表结构, txt存储的是以tab分隔的记录.

使用mysql -e

# 导出数据

mysql --user=root --password='' phineas_and_ferb -e "SELECT * FROM characters INTO OUTFILE '~/tmp/data.txt' FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '\"' LINES TERMINATED BY '\n';"

# 如果需要导出表头

mysql --user=root --password='' -e "SELECT GROUP_CONCAT(COLUMN_NAME SEPARATOR '\t') FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='phineas_and_ferb' and table_name='characters' INTO OUTFILE '~/tmp/output.txt' FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '' ESCAPED BY '' LINES TERMINATED BY '\n';"

cat ~/tmp/data.txt >> ~/tmp/output.txt

因为这种情况下实际是mysqld在写文件, 所以可以不需要sudo权限.

在实际测试中, 导出约5kw条记录(最终tsv文件大小为2.6GB)使用了13分钟.