Could not buffer record

1.1.1.    Could not buffer record

在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小

1.1.1.   数据库àHDFS

sqoop import --connect jdbc:mysql://192.168.56.204:3306/sqoop --username hive --password hive --table jobinfo --target-dir /sqoop/test5 --inline-lob-limit 16777216 --fields-terminated-by '\t' -m 1

sqoop export --connect "jdbc:mysql://192.168.56.204:3306/sqoop?useUnicode=true&characterEncoding=utf-8" --username hive --password hive --table jobinfo2 --export-dir /sqoop/test --input-fields-terminated-by '\t'

1.1.2.   Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

 

有时候大的插入和更新会受max_allowed_packet 参数限制，导致写入或者更新失败。

查看目前配置

show VARIABLES like '%max_allowed_packet%';

显示的结果为：

+--------------------+---------+

| Variable_name      | Value   |

+--------------------+---------+

| max_allowed_packet | 1048576 |

+--------------------+---------+  

以上说明目前的配置是：1M

 

修改方法

修改方法

1、修改配置文件

可以编辑my.cnf来修改（windows下my.ini）,在[mysqld]段或者mysql的server配置段进行修改。

max_allowed_packet = 20M

如果找不到my.cnf可以通过

mysql --help | grep my.cnf

去寻找my.cnf文件。

linux下该文件在/etc/下。

2、在mysql命令行中修改

在mysql 命令行中运行

set global max_allowed_packet = 2*1024*1024*10

然后退出命令行，重启mysql服务，再进入。

show VARIABLES like '%max_allowed_packet%';

查看下max_allowed_packet是否编辑成功

 

 注意：该值设置过小将导致单个记录超过限制后写入数据库失败，且后续记录写入也将失败。