![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
Raise~
这个作者很懒,什么都没留下…
展开
-
Hive的in与not in 值中有null的时候注意事项,join where条件等问题
在进行hive SQL查询数据的时候,where条件中使用了in或者not in,但是该值内有null空。这时,无论是in还是not in,空值都不会进入该条件内,但是使用not in的时候只是希望把自己不想要的数据给排除掉,这时会同步把为null的数据也进行排除掉了。所以,在写not in或者in的时候,如果希望保留为null的数据。最好加一条where (col not in (1,2,3,4) or col is null)同样,进行先join 后where操作的时候,同样要注意值为n原创 2022-04-20 17:58:14 · 3430 阅读 · 0 评论 -
Sqoop从MySQL导数据至hive数据表异常(数据量不对,数据值不对)
通过数据比对,发现sqoop导入hive的数据与MySQL原始数据对应不上,表现为两点:①查数据总数不对,MySQL的count(1) = 108120条数据,但是导入至hive发现只有108112条数据,数据发生了丢失。②应查数据值不对,查询到某个字段,MySQL值中仅有1,2两种值,但是hive表中包含1,2,以及一串看不懂的数字。经反复核对数据,发现问题症结,所以就将它记录下来了。...原创 2022-04-19 14:34:19 · 3886 阅读 · 1 评论