Sqoop增量导入Hive

特殊说明

Sqoop版本为1.4.4，别用最新的

准备工作

如果Hive中已经有数据，直接到【在Hive中执行】就行

1) 复制MySQL的表结构到Hive

sqoop create-hive-table --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-table um_appuser --fields-terminated-by "\0001"  --lines-terminated-by "\n"

2) 创建Hive表对应的目录

hdfs dfs -mkdir /user/hive/um_appuser

3) 修改表Hive表对应的目录

ALTER TABLE um_appuser SET LOCATION 'hdfs://node1:8020/user/hive/um_appuser';

4) 转换为外部表

ALTER TABLE um_appuser SET TBLPROPERTIES ('EXTERNAL'='TRUE');

将数据导入Sqoop

sqoop import --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-import --hive-table um_appuser

在Hive中执行

SELECT id FROM um_appuser ORDER BY id DESC LIMIT 1;

查询结果：15902

增量导入

1) 创建job（注意–last-value的值，上一步查询得到的结果）

sqoop job --create um_appuser -- import --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-import --hive-table um_appuser --incremental append --check-column id --last-value 15902

2) 查看已经创建的Sqoop job

sqoop job --list

3) 创建调度任务

0 */1 * * * sqoop job --exec um_appuser > um_appuser_sqoop.log 2>&1 &

校验数据

1) 查询Hive

SELECT id FROM um_appuser ORDER BY id DESC LIMIT 1;
--SELECT COUNT(DISTINCT id) FROM um_appuser;
SELECT COUNT(id) FROM um_appuser;
SELECT id FROM um_appuser GROUP BY id HAVING COUNT(id) > 1;

2) 查询MySQL

SELECT COUNT(1) FROM um_appuser WHERE id <= （Hive查询出最新的id）;