mysql处理csv文件_Mysql加载本地CSV文件

Mysql加载本地CSV文件

1.系统环境

系统版本：Win10 64位

Mysql版本： 8.0.15 MySQL Community Server - GPL

Mysql Workbench版本：Version 8.0.15 build(64bits) Community

2.准备工作

不管是使用Workbench还是命令行来加载本地数据，都可以先使用Workbench进行数据库、表的创建工作。

3.使用Workbench进行加载

当数据量不是很大时(万级以内)时，可以使用Workbench进行加载，优点是可以根据引导一步一步操作。

操作过程中碰到的问题：进入引导界面并选择待加载的文件后，软件提示Unhandled exception:("Incorrect database name"",1102)，直接指示数据库名为空，并且报错。原因是将需要将当前数据库设置为默认数据库(右键当前数据库然后选择Set as Default Scheme)，不然Workbench会找不到默认数据库，从而报一个数据库名为空的错误。

剩下的步骤根据指示完成即可。

4.使用命令行进行加载

4.1 命令语法

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'[REPLACE | IGNORE]INTO TABLEtbl_name[FIELDS

[TERMINATED BY 'string'][[OPTIONALLY] ENCLOSED BY 'char'][ESCAPED BY 'char']][LINES

[STARTING BY 'string'][TERMINATED BY 'string']][IGNORE number LINES][(col_name_or_user_var,...)][SET col_name = expr,...)]

load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前，mysqld进程(服务)必须已经在运行。由于安全原因，当读取位于服务器上的文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上必须有file的权限。

如果指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把数据插入。可以使用如下的命令：

load data low_priority infile "/home/mark/data sql" into table Orders;

如果指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。

replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace，新行将代替有相同的唯一键值的现有行。如果你指定ignore，跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：

load data low_priority infile "/home/mark/data sql" replace into table Orders;

分隔符：

fields关键字指定了文件字段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：

terminated by：以什么字符作为分隔符

enclosed by：字段闭合标签

escaped by：转义字符

terminated by：描述字段的分隔符，默认情况下是tab字符(\t)

enclosed by：描述的是字段的括起字符

escaped by：描述的转义字符。默认的是反斜杠(backslash：\ )

lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符：

如果两个字段都指定了，那fields必须在lines之前。如果不指定fields关键字，缺省值与这样写相同：fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'

如果你不指定一个lines子句，缺省值与这样写的相同：lines terminated by'\n'

[IGNORE number LINES]  忽略特定行数，CSV文件可以忽略掉第一行标题

4.2 操作过程中的问题

运行如下代码：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

出现如下错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

原因是服务器端，local_infile默认开启；客户端，local_infile默认关闭，因此用的时候需要打开。

查看local_infile变量的状态：

mysql> show global variables like 'local_infile';+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| local_infile | OFF |

+---------------+-------+

显示为关闭状态，使用如下命令打开：

mysql> set global local_infile = 'ON';

并再次查看：

mysql> show global variables like 'local_infile';+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| local_infile | ON |

+---------------+-------+

然后再进行导入工作：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

仍然报同样的错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

退出mysql，用如下命令进行登陆：

$ mysql --local-infile=1 -u root -p

然后就能够正常进行正常加载了：

mysql> load data local infile 'E:/Documents/user_utf.csv' into table data.user fields terminated by ',';

Query OK,101535 rows affected, 65535 warnings (1.08sec)

Records:101535 Deleted: 0 Skipped: 0 Warnings: 69457

5.参考资料