1.1.1. Could not buffer record
在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小
1.1.1. 数据库àHDFS
sqoop import --connect jdbc:mysql://192.168.56.204:3306/sqoop --username hive --password hive --table jobinfo --target-dir /sqoop/test5 --inline-lob-limit 16777216 --fields-terminated-by '\t' -m 1
sqoop export --connect "jdbc:mysql://192.168.56.204:3306/sqoop?useUnicode=true&characterEncoding=utf-8" --username hive --password hive --table jobinfo2 --export-dir /sqoop/test --input-fields-terminated-by '\t'
1.1.2. Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.
有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
查看目前配置
show VARIABLES like '%max_allowed_packet%';
显示的结果为:
+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
以上说明目前的配置是:1M
修改方法
修改方法
1、修改配置文件
可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
max_allowed_packet = 20M
如果找不到my.cnf可以通过
mysql --help | grep my.cnf
去寻找my.cnf文件。
linux下该文件在/etc/下。
2、在mysql命令行中修改
在mysql 命令行中运行
set global max_allowed_packet = 2*1024*1024*10
然后退出命令行,重启mysql服务,再进入。
show VARIABLES like '%max_allowed_packet%';
查看下max_allowed_packet是否编辑成功
注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。