客户有需要需要把数据从传统数据库想hadoop平台迁移,他们利用sqoop将数据从oracle迁移到hive中。最近他们在迁移的时候碰到一个问题,说是从ORACLE以并行方式“抽取数据”抽取数据到HIVE用多个条件进行抽取没有调通。以下是他们发过来的脚本:
sqoop import --connect jdbc:mysql://hadoop-master:3306/hive --username root --table test --fields-terminated-by '\t' [--null-string '**‘] -m 1 --append --hive-import --hive-partition-key KEY --hive-partition-value VALUE
这里面有个问题是,目标表有多个分区,如果只是单个分区的话可以直接指定--hive-partition-key和--hive-partition-value这两个参数即可,可以这样做:
但是这样只能向单个分区中导入数据,于是我试着在sqoop语句中指定两个分区结果报错。在网上也没有找着类似的解决方案。我不知道是sqoop没有提供这样的功能还是我理解不全面,如果有能在一条句子里直接搞定希望回复我,让我长长见识。
由于sqoop