hive注意事项01_空值处理

1. 空值类型

1.1NULL

hive中null实际在HDFS中默认存储为’\N’,通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句:col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值,一般都是由hive外链接引起的。

1.2 ‘’

‘’ 表示的是字段不为null且为空字符串,此时用 col is null 是无法查询这种值的,必须通过 aaa =='‘或者 length(aaa)=0 查询,产生’'值,一般都是源数据为空。
在hive sql里面已经加为null判断了。再看数据文件,发现其中的值不是通常的NULL,或者是\N,而是’’。
所以得到原因,用判断null的nvl函数并不能排除’'的情况,需要用IF(col == ‘’,‘未知’,col) AS col 来判断。

2.空值处理方法

2.1 使用COALESCE函数处理空值

COALESCE是一个函数,COALESCE (expression_1, expression_2, …,expression_n)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。比如我们要登记用户的电话,数据库中包含他的person_tel,home_tel,office_tel,我们只要取一个非空的就可以,则我们可以写查询语句

select COALESCE(person_tel,home_tel,office_tel) as contact_number from Contact;

假如所有字段默认是null,你想其返回的不是null,而是比如0或其他值,可以使用这个函数

select COALESCE(person_tel,home_tel,office_tel,0) as contact_number from Contact;

2.2 使用nvl函数处理空值

NVL函数的格式如下:
NVL(col1,col2),NVL(col1,value1)
含义是:如果oracle第一个参数为空那么显示第二个参数的值,如果第一个参数的值不为空,则显示第一个参数本来的值。

select NVL(sol01, -1) from tablename

2.3 使用NVL2函数处理空值

NVL2函数的格式如下:NVL2(expr1,expr2, expr3)
含义是:如果该函数的第一个参数为空那么显示第二个参数的值,如果第一个参数的值不为空,则显示第三个参数的值。`

select NVL2(expr1,expr2, expr3) from tablename

3.空值过滤

3.1 null值过滤

Hive中有种假的NULL,它看起来和NULL一摸一样,但是实际却不是NULL。空值NULL在底层默认是用’\N’来存储的,而我们习惯性对NULL 值的过滤,一般是is null 和 is not null。所以此时可以通过对修改hive 表的信息,来保证控制都显示为指定值 ,方便进行过滤。解决方法如下:

alter table t_dw_ct_author set serdeproperties (‘serialization.null.format’ =NULL); 

则出现:底层数据保存的是’NULL’,通过查询显示的是’NULL’ 这时如果查询为空值的字段可通过 语句:a is null 或者 a=‘NULL’
或者 如下:

 alter table t_dw_ct_author set serdeproperties(‘serialization.null.format’ = ‘\N’); 

则出现:底层数据保存的是’\N’,通过查询显示的是’NULL’,这时如果查询为空值的字段可通过 语句:a is null 或者 a=’\N’

3.2 ‘’ 值过滤

‘’ 表示的是字段不为null且为空字符串,此时用 a is null 是无法查询这种值的,必须通过 a=’’ 或者 length(a)=0 查询

参考引用:

hive中的空值处理:https://blog.csdn.net/lv_hulk/article/details/103751641
Hive–对空值和NULL的处理: Hive–对空值和NULL的处理
hive中的NULL(hive空值处理):http://manage.dezai.cn/Detail.Aspx?AI=95398&CI=4

  • 0
    点赞
  • 6
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

雪龙无敌

你的鼓励是我们一起前进的动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值