mysql使用load data infile导入数据出现错误

首先介绍一下如何修改mysql中的参数

mysql支持两种形式的变量,session和global,会话级别的变量只会对当前连接生效,global变量会应用到此后创建的所有连接,所以要想在当前及以后的连接中都要生效,需要设置session和global这2个级别的变量。

1 set的方法只是当前的修改,重启mysql后会失效

set global wait_timeout=2880000
set global interactive_timeout = 2880000
set global max_allowed_packet = 100000000

set session wait_timeout=28800

查看当前会话或全局的变量的值

show session|global variables like 'var_name';

例如

show global variables like 'local_infile';

2 修改my.cnf配置文件,重启后会永久生效,默认放在/etc下。

导入.sql脚本(如下图)可以登入mysql使用source命令。

sql脚本位置:

source命令执行

mysql中使用load data infile导入数据的用法

1、有时需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用mysql load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。

导入1000w条数据

前提条件:(可以查看官方文档)

  • 服务端必须开启local_infile开关,在目标实例的基本信息页面,进入参数修改页面里将此参数修改为ON。
  • 客户端必须开启local-infile开关,在my.cnf中配置local-infile或连接数据库使用 --local-infile=1 参数。

使用该命令时可能出现如下错误:

ERROR 3948 (42000): Loading local data is disabled; this must be enabled on both the client and server sides

我们先进去mysql,查看当前参数是否打开,默认关闭(我这里已经是打开了的)

我们可以根据上述修改参数的两种办法

(1)在登录时加上参数,以及进去后修改参数,但是以后启动mysql该值还是off

-- 客户端连接服务端时,加上参数  -–local-infile

mysql –-local-infile  -u  root  -p

-- 设置全局参数local_infile1开启从本地加载文件导入数据的开关

set  global  local_infile = 1;

(2)第二种就是my.cnf中加上

然后使用命令就可以了。

2、当读取位于服务器上的文本文件时,文本文件必须处于数据库目录或可被mysql用户读取或可被所有人读取


基本语法:

LOAD DATA LOCAL
    INFILE 'file_name'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
    ]
    [LINES
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var
        [, col_name_or_user_var] ...)]

1 如果你指定关键词low_priority,那么MySQL将会等到没有其他人读这个表的时候,才把插入数据
可以使用如下的命令:
load data low_priority infile "/home/mark/data.sql" into table test.Orders;   #test是库名,Orders是表名

2 如果指定local关键词,则表明从其他客户主机读文件;如果local没指定,文件必须位于mysql服务器上(当从本机读取文件时也可以带上local关键词)

3 replace和ignore关键词控制对现有的唯一键记录的重复的处理

  • · 如果你指定replace,新行将代替有相同的唯一键值的现有行(文本文件中的记录将会覆盖当前表中的同名记录)。

  • · 如果你指定ignore,跳过有唯一键的现有行的重复行的输入(文本文件中的记录将会被忽略,不会覆盖当前表中的同名记录)。

  • · 如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略

例如:
load data low_priority infile "/home/mark/data sql" replace into table test.Orders;

4 分隔符
(1) fields关键字指定了文本文件中字段的分割格式,如果使用这个关键字,MySQL剖析器希望看到至少有下面的一个选项

  • terminated by 字段的分隔符,默认情况下是一个tab字符(\t)

  • enclosed by 字段括起字符,即字段的引用字符

  • escaped by 转义字符,默认的是反斜杠(backslash:\ )

例如:load data infile "/home/mark/Orders txt" replace into table test.Orders fields terminated by',' enclosed by '"';


(2)lines 关键字指定了每条记录的分隔符,默认为'\n'即为换行符

如果两个字段都指定了那fields必须在lines之前
如果不指定fields关键字,则默认使用: fields terminated by'\t' enclosed by'"' escaped by'\'
如果不指定一个lines子句,则moren默认使用: lines terminated by'\n'

例如:
load data infile "/jiaoben/load.txt" replace into table test.Orders fields terminated by ',' lines terminated by '/n';


5 load data infile 可以按指定的列把文件导入到数据库中(即只导入文本文件中的某些列而不是全部),当我们要把数据的一部分内容导入的时候,需要加入一些栏目(列/字段/field)到MySQL数据库中,以适应一些额外的需要。
比方说,我们要从Access数据库升级到MySQL数据库的时候

下面的例子显示了如何向表中指定的字段(field)中导入数据:
load data infile "/home/Order txt" into table test.Orders(Order_Number, Order_Date, Customer_ID);

  • 43
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值