大数据
lihaojie9047
这个作者很懒,什么都没留下…
展开
-
spark引擎与hive引擎查出来的数据不一致的情况,解决方法
在实际工作的情况中,经常有spark与hive查询出来的数据存在不一样的情况,基本的原因如下:1、由于精度不一样导致的2、更多的时候确实是由于元数据混乱导致的(就是说hive中能读到这个字段的值,但是在spark中却无法读取到该字段的值。很多时候可能还是由于大小写的混乱所导致的)...原创 2019-10-15 16:07:06 · 1807 阅读 · 0 评论 -
处理hive中的客户号变成科学计数法的问题
问题描述:存在这样的一种情况,客户号custno使用double类型,会导致custno变成科学计数法,这样的话,客户号没有办法关联。这种情况该如何解决??解决方法:cast(cast (custno as bigint) as string) as custno先将custno转化为bigint类型,然后在转化为string类型。这样就能完美的解决这个问题。...原创 2019-10-15 16:02:09 · 2250 阅读 · 0 评论