关于在hive中用maxwell导入数据,使用hive查询相关表时,导入数据可以成功,字段都存在,但字段的值为null的解决办法

1.首先查看maxwell在传入kafka相关主题的主题中有无相关数据

2.确认在hive上的相关目录下有无数据

3.排除是否是hive中建表字段写错

4.查看全量导入的表中是否有完整数据

5.以上,都没问题 ,说明是数据导入部分出了问题,不一定是导入不了数据

问题:data字段struct结构体部分没有数据  用maxwell将数据传到kafka,kafka中数据正常   用flume将数据传入hdfs,hdfs上的数据正常
原因:hive字段不区分大小写  建表时在struct中指定的字段为大写   但是在hdfs上的数据字段为小写   应该是hive的结构体中认为是一个新的字段,故都为null

解决:修改建表语句  将data的struct结构体中的字段设置为与hive上的数据字段一样的形式即可