在使用HQL时如果有空值喜欢追随SQL99的规范使用IS NULL 和IS NOT NULL来判断,这个是一般的思维习惯。但是在hive中跟传统的数据库不一样的地方在于NULL的解读。
在传统数据库中字段没有值或者为空即表示为NULL,但是在hive中默认的NULL值是\N,对没错,就是\N。在hive中会把文本的\N解析为NULL。在使用IS NULL 或者IS NOT NULL时会过滤数据。
如果想延续传统数据库中对于空值为NULL,可以通过alter语句来修改hive表的信息,保证解析时是按照空值来解析NULL值。语句如下:
alter table ljn005 SETSERDEPROPERTIES('serialization.null.format' ='');
这样就可以修改默认的NULL值的定义了。比如这里定义alter table ljn005 SETSERDEPROPERTIES('serialization.null.format' ='abc'); 则以后出现abchive都会把这个解析为NULL值。
这里一定要谨记。