hive的使用中不可避免的需要对null、‘’(空字符串)进行判断识别。但是hive有别于传统的数据库。
下面一一说明:
(1)不同数据类型对空值的存储规则
int与string类型数据存储,null默认存储为 \N;
string类型的数据如果为"",存储则是"";
另外往int类型的字段插入数据“”时,结果还是\N。
(2)不同数据类型,空值的查询
对于int可以使用is null来判断空;
而对于string类型,条件is null 查出来的是\N的数据;而条件 =’’,查询出来的是""的数据。
例如:
查询1:select b.id,b.name from b
结果1:
1 lisi
2
3 NULL
查询2:select b.id,b.name from b where b.name isnull;
结果2:
3 NULL
查询3:select b.id,b.name from b where b.name=’’;
结果3:
2
查询4:select b.id,b.name from b where b.name=’’or b.name is null;
结果4:
2
3 NULL
查询5:select b.id,b.name from b where b.name<>’’and b.name is not null;
结果5:
1 lisi
查询6:select b.id,b.name from b where length(b.name)<>0and b.name is not null;
结果6:
1 lisi
结论:判断空时要根据实际的存储来进行判断。在开发过程中如果需要对空进行判断,一定得知道存储的是哪种数据。
有个处理空的小技巧,Hive给出一种并非完美的解决方法——自定义底层用什么字符来表示NULL:
使用:ALTER TABLE b SET SERDEPROPERTIES ('serialization.null.format'='');
这句话的意思是让null和''等价,也就是让null不显示,因为null对开发来说不好操作,可能不同地方代表意义不同,而且转码可能也会有问题,所有用''代替。