在实际工作的情况中,经常有spark与hive查询出来的数据存在不一样的情况,基本的原因如下:
1、由于精度不一样导致的
2、更多的时候确实是由于元数据混乱导致的
(就是说hive中能读到这个字段的值,但是在spark中却无法读取到该字段的值。
很多时候可能还是由于大小写的混乱所导致的)
spark引擎与hive引擎查出来的数据不一致的情况,解决方法
最新推荐文章于 2023-04-18 23:30:00 发布
在实际工作的情况中,经常有spark与hive查询出来的数据存在不一样的情况,基本的原因如下:
1、由于精度不一样导致的
2、更多的时候确实是由于元数据混乱导致的
(就是说hive中能读到这个字段的值,但是在spark中却无法读取到该字段的值。
很多时候可能还是由于大小写的混乱所导致的)