sqoop定时增量抽取数据到hive

1、  第一次全量抽取，并创建hive表

#keberos认证

kinit -kt hdfs.keytab hdfs

#从oracle导数据到hive

sqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\

            --username xxx--password xxx\

            --table PROD_FDC.EQUIPMENT\

            --target-dir=/user/hive/warehouse/fdc_test.db/equipment\

            --hive-import --hive-database xx--hive-table xx\

            --create-hive-table

在使用时，只需要替换源数据库IP，用户名和密码，以及hive目标表的目录，数据库和表名

2、  创建增量抽取的job

sqoop job --create fdc_equipment_job \

         -- import --connect jdbc:oracle:thin:@xx.xx.xx.xx:1521:xx \

                    --username xxx--password xxx\

                    --table PROD_FDC.EQUIPMENT  \

                    --target-dir=/user/hive/warehouse/fdc_test.db/equipment \

                    --hive-import --hive-database fdc_test --hive-table equ