@Durga Viswanath Gadiraju答案的替代方法。
如果您要将数据导入配置单元表,则可以从配置单元表中查询上次更新的值,并将该值传递给sqoop导入查询。 您可以使用shell脚本或oozie操作来实现此目的。
shell脚本:
lastupdatedvalue=`hive -e 'select last_value from table` #tweak the selection query based on the logic.
sqoop import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${lastupdatedvalue}
Oozie的方法:
蜂巢行动的基础上检索 最后更新值的逻辑选择查询。
Sqoop从先前配置单元操作的捕获输出中获取增量负载的操作。
PFB一个sudo的工作流程:
${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName}
${jobTracker}
${nameNode}
import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${wf:actionData('hiveact')}
Action failed
希望这有助于。