sqoop增量导入hive_我们如何自动化SQOOP中的增量导入？

@Durga Viswanath Gadiraju答案的替代方法。

如果您要将数据导入配置单元表，则可以从配置单元表中查询上次更新的值，并将该值传递给sqoop导入查询。 您可以使用shell脚本或oozie操作来实现此目的。

shell脚本：

lastupdatedvalue=`hive -e 'select last_value from table` #tweak the selection query based on the logic.

sqoop import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${lastupdatedvalue}

Oozie的方法：

蜂巢行动的基础上检索 最后更新值的逻辑选择查询。

Sqoop从先前配置单元操作的捕获输出中获取增量负载的操作。

PFB一个sudo的工作流程：

${jobTracker}

${nameNode}

mapred.job.queue.name

${queueName}

${jobTracker}

${nameNode}

import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${wf:actionData('hiveact')}

Action failed

希望这有助于。