IloveMing0305-CSDN博客

原创 Sqoop 同步数据到mysql， Can't parse input data: '\N'

Sqoop 同步数据到mysql Sqoop 从hdfs 同步数据到mysql 是我们常常遇到的事情同步分为分区表同步和非分区表同步需要注意以下几点1. hive 中的表必须是textfile ，不能是有parquet 等压缩方式的2.hive 表如果是分区表，需要每次只能同步一个分区的数据到 mysql，如果hive 有多个分区，只能写多个脚本，或者多个循环调...

2018-12-26 17:08:32 2974

原创 hive 在kettle 作业return code 2 的问题 Unexpected exception: Unexpected exception: Unexpected exception:

今天突然进去跑不了数据老是报错return code 2 .之前可以跑通的。日志如下矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。可以通过设置set hive.vectorized.execution.enabled = true; 但是如果数据量很大，她的batch就会很多...

2018-12-20 20:40:58 577

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人