![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ERROR
文章平均质量分 75
IloveMing0305
这个作者很懒,什么都没留下…
展开
-
hive 在kettle 作业return code 2 的问题 Unexpected exception: Unexpected exception: Unexpected exception:
今天突然进去跑不了数据老是报错return code 2 .之前可以跑通的。日志如下矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理,而不是一行一行进行处理,这样能够显著提高执行速度。可以通过设置set hive.vectorized.execution.enabled = true; 但是如果数据量很大,她的batch就会很多...原创 2018-12-20 20:40:58 · 584 阅读 · 0 评论 -
Sqoop 同步数据到mysql, Can't parse input data: '\N'
Sqoop 同步数据到mysql Sqoop 从hdfs 同步数据到mysql 是我们常常遇到的事情同步分为 分区表同步和非分区表同步需要注意以下几点1. hive 中的表 必须是textfile ,不能是有parquet 等压缩方式的2.hive 表如果是分区表,需要每次只能同步一个分区的数据到 mysql,如果hive 有多个分区,只能写多个脚本,或者多个循环调...原创 2018-12-26 17:08:32 · 2982 阅读 · 0 评论