Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响

背景信息：

本文用Sqoop实现MySQL中数据向Hive数据的抽取，研究在修改MySQL中数据以及表结构对抽取结果的影响

环境：

cloudera VM（包含Hadoop生态各组件），并在此VM中安装MySQL

初始状态：

Mysql中表数据如下所示：

利用SQOOP从MySQL向Hive同步数据：

源表mysql:wht.people

目的表：Hive: db01.people

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1 

在HUE中查询Hive中数据：

场景一

修改MySQL中数据，重新同步，检查Hive中数据是否会被更新

结论：Hive中的数据会被更新

推测：数据文件被删除后重新进行了抽取

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景二

增加/删除MySQL中数据，重新同步，检查Hive中数据是否会被增加

结论：Hive中的数据会增加/删除

推测：应该是被删除后重新进行了抽取

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景三

修改MySQL中表结构，增加一列，检查Hive中表结构是否会被同步修改

现象：源表中的新增列没有被同步过来

推测：应该只有数据文件被重建，但是元数据不会被修改

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景四

修改MySQL中表结构，删除一列，检查Hive中表结构是否会被同步修改

现象：源表中的删除列在Hive显示值为NULL

推测：应该只有数据文件被重建，但是元数据不会被修改

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1