1.首先查看maxwell在传入kafka相关主题的主题中有无相关数据
2.确认在hive上的相关目录下有无数据
3.排除是否是hive中建表字段写错
4.查看全量导入的表中是否有完整数据
5.以上,都没问题 ,说明是数据导入部分出了问题,不一定是导入不了数据
问题:data字段struct结构体部分没有数据 用maxwell将数据传到kafka,kafka中数据正常 用flume将数据传入hdfs,hdfs上的数据正常
原因:hive字段不区分大小写 建表时在struct中指定的字段为大写 但是在hdfs上的数据字段为小写 应该是hive的结构体中认为是一个新的字段,故都为null
解决:修改建表语句 将data的struct结构体中的字段设置为与hive上的数据字段一样的形式即可