hive 空值的处理

hive的使用中不可避免的需要对null、‘’（空字符串）进行判断识别。但是hive有别于传统的数据库。

下面一一说明：

（1）不同数据类型对空值的存储规则

int与string类型数据存储，null默认存储为 \N；

string类型的数据如果为""，存储则是""；

另外往int类型的字段插入数据“”时，结果还是\N。

 

（2）不同数据类型，空值的查询

对于int可以使用is null来判断空；

而对于string类型，条件is null 查出来的是\N的数据；而条件 =’’，查询出来的是""的数据。

例如：

查询1：select b.id,b.name from b

结果1：

1        lisi

2         

3   NULL

 

查询2：select b.id,b.name from b where b.name isnull;

结果2：

3        NULL

 

查询3：select b.id,b.name from b where b.name=’’;

结果3：

2  

 

查询4：select b.id,b.name from b where b.name=’’or b.name is null;

结果4：

2  

3   NULL

 

查询5：select b.id,b.name from b where b.name<>’’and b.name is not null;

结果5：

1        lisi

 

查询6：select b.id,b.name from b where length(b.name)<>0and b.name is not null;

结果6：

1       lisi

 

结论：判断空时要根据实际的存储来进行判断。在开发过程中如果需要对空进行判断，一定得知道存储的是哪种数据。

有个处理空的小技巧，Hive给出一种并非完美的解决方法——自定义底层用什么字符来表示NULL：

使用：ALTER TABLE b SET SERDEPROPERTIES ('serialization.null.format'='');

这句话的意思是让null和''等价，也就是让null不显示，因为null对开发来说不好操作，可能不同地方代表意义不同，而且转码可能也会有问题，所有用''代替。