sqoop从mysql向hive增量导入数据错误汇总

首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余

如何实现增量导入hive

使用命令时添加如下参数：

例1 --where modify_time >= '2022-02-10'

例2 --query select 'id , order_status , create_time , modify_time from `order` where modify_time < "2022-02-10 00"00"00" and $CONDITIONS '

出现的问题：

数据统计时，如何查找到全量的、最新的数据

将订单生成一个拉链表

1 向hive导入时报错ClassNotFound hive.metastore.jar

发生这种情况时，sqoop的lib的无法找到hive的jar包

可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了

2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常

需要将hive的表格存储格式更改为textfile