hive注意事项01_空值处理

1. 空值类型

1.1NULL

hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。

1.2 ‘’

‘’ 表示的是字段不为null且为空字符串，此时用 col is null 是无法查询这种值的，必须通过 aaa =='‘或者 length(aaa)=0 查询,产生’'值，一般都是源数据为空。
在hive sql里面已经加为null判断了。再看数据文件，发现其中的值不是通常的NULL，或者是\N，而是’’。
所以得到原因，用判断null的nvl函数并不能排除’'的情况，需要用IF(col == ‘’,‘未知’,col) AS col 来判断。

2.空值处理方法

2.1 使用COALESCE函数处理空值

COALESCE是一个函数，COALESCE (expression_1, expression_2, …,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。比如我们要登记用户的电话，数据库中包含他的person_tel,home_tel,office_tel,我们只要取一个非空的就可以，则我们可以写查询语句

select COALESCE(person_tel,home_tel,office_tel) as contact_number from Contact;

假如所有字段默认是null，你想其返回的不是null，而是比如0或其他值，可以使用这个函数

select COALESCE(person_tel,home_tel,office_tel,0) as contact_number from Contact;

2.2 使用nvl函数处理空值

NVL函数的格式如下：
NVL(col1,col2),NVL(col1,value1)
含义是：如果oracle第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则显示第一个参数本来的值。

select NVL(sol01, -1) from tablename

2.3 使用NVL2函数处理空值

NVL2函数的格式如下：NVL2(expr1,expr2, expr3)
含义是：如果该函数的第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则显示第三个参数的值。`

select NVL2(expr1,expr2, expr3) from tablename

3.空值过滤

3.1 null值过滤

Hive中有种假的NULL，它看起来和NULL一摸一样，但是实际却不是NULL。空值NULL在底层默认是用’\N’来存储的，而我们习惯性对NULL 值的过滤，一般是is null 和 is not null。所以此时可以通过对修改hive 表的信息，来保证控制都显示为指定值 ,方便进行过滤。解决方法如下：

alter table t_dw_ct_author set serdeproperties (‘serialization.null.format’ = ‘NULL’); 

则出现：底层数据保存的是’NULL’,通过查询显示的是’NULL’ 这时如果查询为空值的字段可通过 语句：a is null 或者 a=‘NULL’
或者 如下：

 alter table t_dw_ct_author set serdeproperties(‘serialization.null.format’ = ‘\N’); 

则出现：底层数据保存的是’\N’,通过查询显示的是’NULL’，这时如果查询为空值的字段可通过 语句：a is null 或者 a=’\N’

3.2 ‘’ 值过滤

‘’ 表示的是字段不为null且为空字符串，此时用 a is null 是无法查询这种值的，必须通过 a=’’ 或者 length(a)=0 查询

参考引用：

hive中的空值处理：https://blog.csdn.net/lv_hulk/article/details/103751641
Hive–对空值和NULL的处理: Hive–对空值和NULL的处理
hive中的NULL(hive空值处理):http://manage.dezai.cn/Detail.Aspx?AI=95398&CI=4