hive面试--hive底层如何存储Null值

最新推荐文章于 2022-08-28 09:52:43 发布
最新推荐文章于 2022-08-28 09:52:43 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： Hive
原文链接：https://blog.csdn.net/SunnyYoona/article/details/78276551
版权

1. NULL(null)值

创建一个临时表tmp_null_empty_test，并插入一些NULL数据:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        CREATE  TABLE IF NOT EXISTS tmp_null_empty_test(
        
        
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
         uid string
        
        
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        )
        
        
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ROW FORMAT DELIMITED
        
        
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        FIELDS TERMINATED BY '\t'
        
        
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        LINES TERMINATED BY '\n'
        
        
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        STORED AS TEXTFILE;
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        INSERT OVERWRITE TABLE tmp_null_empty_test select NULL from test WHERE dt = '20171016';
       
       
    
      
      
  10.

我们看一下从Hive中取出来的数据:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select * from tmp_null_empty_test;
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  12. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  13. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  14. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  15. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  16.

我们再看一下这张表在HDFS上究竟是如何存储的?


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hadoop fs -text /user/hive/warehouse/test.db/tmp_null_empty_test/* | less
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  12. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        \N
       
       
    
      
      
  13. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  14.

发现Hive将NULL值存储为'\N'。

Hive在底层数据中如何保存和标识NULL，是由serialization.null.format参数控制的，默认为serialization.null.format'='\\N。我们可以更改这一参数使之NULL值存储为其他形式，例如下面我们更改为"null":


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ALTER TABLE tmp_null_empty_test SET SERDEPROPERTIES('serialization.null.format' = 'null');
       
       
    
      
      
  2.

我们删除数据重新倒入一遍数据:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hadoop fs -text /user/hive/warehouse/test.db/tmp_null_empty_test/* |less
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  9. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  10. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        null
       
       
    
      
      
  11. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  12.

这样的设计存在一个问题是如果实际想存储'\N'，那么实际查询出来的也是NULL而不是'\N' 。所以如果真的想存储'\N'时，可以更改配置参数为其他格式即可。

那我们在Hive中如何查询等于'NULL'的那些值呢?可以使用如下命令查询:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select * from tmp_null_empty_test where uid is null;
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  7. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        NULL
       
       
    
      
      
  8. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  9.

2. 空字符串

我们再看一下存储空字符串的情况，删除之前的数据，重新导入一些空字符串:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        INSERT OVERWRITE TABLE tmp_null_empty_test select "" from test WHERE dt = '20171016';
       
       
    
      
      
  2.

我们看一下从Hive中取出来的数据:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select * from tmp_null_empty_test;
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  5. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  6. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        Time taken: 0.047 seconds, Fetched: 36 row(s)
       
       
    
      
      
  7.

我们再看一下在HDFS上究竟是如何存储的?


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hadoop fs -text /user/hive/warehouse/test.db/tmp_null_empty_test/* |less
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ...
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        
       
       
    
      
      
  5.

对于空字符串我们使用如下命令查询:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select count(*) from tmp_null_empty_test where uid = "";
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        36
       
       
    
      
      
  4.

但是不能使用is null来判断:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select count(*) from tmp_null_empty_test where uid is null;
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        0
       
       
    
      
      
  4.

3. 数据类型与NULL

INT与STRING的存储，NULL默认的存储都是'\N'。如果数据类型为String的数据为""，存储才是""。如果往Int类型的字段插入""数据，存储为'\N'。 查询的时候，对于Int类型数据可以使用IS NULL来判断NULL值；对于String数据类型的数据采用IS NULL来查询NULL值，采用=""来查询空字符串。

我们遇到的一个Case，在查询String数据类型uid缺失的数据时，我们不得不使用IS NULL和=""两个判断条件进行过滤，我们其实想遵循SQL规范使用IS NULL一个判断条件判断即可，但是在Hive中与传统的数据库又不一样，在于NULL的解读不同。如果想延续传统数据库中对于空值为NULL，可以通过alter语句来修改hive表的信息，保证解析时是按照空值来解析NULL值:


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        ALTER TABLE tmp_null_empty_test SET SERDEPROPERTIES('serialization.null.format' = '');
       
       
    
      
      
  2.

Example：


    
    
  1. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> INSERT OVERWRITE TABLE tmp_null_empty_test select "" from test WHERE dt = '20171016';
       
       
    
      
      
  2. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        hive> select count(*) from tmp_null_empty_test where uid is null;
       
       
    
      
      
  3. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        OK
       
       
    
      
      
  4. 
      
      
    
       
       
    
      
      
    
      
      
    
       
       
    
        
        36
       
       
    
      
      
  5.

备注:

Hive版本为2.1.1
山高水长~
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[Hive]Hive使用指南七 空值与NULL
SmartSi
10-18 8905
1. NULL(null)值创建一个临时表tmp_null_empty_test，并插入一些NULL数据:CREATE TABLE IF NOT EXISTS tmp_null_empty_test( uid string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS T
hive中NULL和‘‘的定义、存储及查询方法
wh502574188的博客
03-15 3160
一、定义 hive计算中NULL表示的是异常（当结果为空值、或计算错误情况会出现）。 ''表示是字段不为null空值，是字符串格式。 二、存储方法 1、hive中NULL的默认存储方式是’\N’。 2、如果表中存在大量的NULL值，则在Hive的数据文件中会产生大量的\N数据，浪费存储空间。 3、可以使用serialization.null.format设置NULL的存储方式，可以设置为默认的’\...
hive在底层数据中是如何保存和标识NULL
weixin_44677213的博客
04-24 766
hive在底层数据中是如何保存和标识NULL hive中空值判断基本分两种： 1、NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 serdeproperties alter table name SET SERDEPROPERTIES(‘serialization.null.format’ = ‘\N’); 参数控制的比如： (1).设置 alter table name ...
Hive 中的 Null 在底层是以 “\N” 来存储，而 MySQL 中的 Null 在底层就是 Null
想练武，就得下功夫
03-16 2562
Hive 中的 Null 在底层是以 “\N” 来存储 而 MySQL 中的 Null 在底层就是 Null 为了保证数据两端的一致性 在 导出 数据时采用 --input-null-string和 --input-null-non-string两个参数 导入 数据时采用 --null-string和 --null-non-string ...
Hive面试题：Q14、 简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.
谦卑t
12-02 1361
null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。 null在hive底层默认是用'\N'来存储的，可以通过alter table test SET SERDEPROPERTIES('serialization.null.format' = 'a');来修改。...
hive2.1.1-cdh6.3.2
05-08
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用SQL（称为HQL，Hive Query Language）对存储在HDFS上的大型数据集进行分析。Hive 2.1.1是Hive的一个重要版本，而CDH6.3.2是Cloudera发行的商业版...
Apache Hive（hive-storage-2.8.1.tar.gz)
04-26
Apache Hive（hive-storage-2.8.1.tar.gz、hive-storage-2.7.3.tar.gz）是一种分布式容错数据仓库系统，支持大规模分析，并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache ...
hive-exec-2.1.1.jar
最新发布
03-14
Hive 提供了一种 SQL 接口来访问数据，这些数据通常存储在 Hadoop 的分布式文件系统（HDFS）中。 Hive 的主要组件包括： Hive Metastore：存储元数据（如表的模式、分区信息等）。 HiveServer2：提供客户端连接和 ...
hive-jdbc-1.2.1-standalone.jar
10-21
dbeaver-cli.exe客户端连接hive所需要的其中一个jar包 hive-jdbc-1.2.1-standalone.jar
hive-jdbc-uber-3.1.2+yanagishima-18.0
06-26
在大数据处理领域，Apache Hive作为一款强大的数据仓库工具，被广泛用于存储、管理和分析大规模结构化数据。而Hive JDBC是连接Hive与各种客户端应用程序的桥梁，使得用户可以通过标准的JDBC接口来操作Hive。这里我们...
HIVE中存储NULL的处理
baidu_38284985的博客
12-24 2249
HIVE表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N， 这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时，解析也要注意。另外，hive表的源文件中，默认列分隔符为\001(SOH)，行分隔符为\n（目前只支持\n，别的不能用，所以定义时不需要显示声明）。元素间分隔符\002，map中ke...
【Hive】空值、NULL详解
weixin_44441131的博客
08-28 3226
Hive中空值判断基本分两种，，一种是NULL与\N，一种是空字符串。
hive中的空值处理
热门推荐
lv_hulk的博客
12-29 1万+
hive中的空值处理 用Sqoop往MySQL同步数据时，由于hdfs存储的数据中有null值或’’，导致同步数据失败。主要是hive sql中的空值造成的，所以今天就说一下怎么解决这个问题。 一.hive中空值分两种 （1）NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。 这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa =’...
大数据—— Hive 知识点整理
Vicky_Tang
09-09 5102
1. Hive 中内部表和外部表的区别以及使用场景内部表： 与数据库中的表在概念上类似 每一个内部表在 hive 中都有一个相应的目录存储数据 所有的内部表数据都保存在这个目录上 删除数据时，元数据和数据都会被删除 应用场景：数据分析的中间表可以使用内部表，方便对表进行管理 外部表： 创建时需要使用 external 修饰，指向已经在 HDFS 中存在的数据，可以创建 Partition 它和内部表在元数据的组织上是相同的，都是存储在关系数据库中 外部表只有一个过程，加载数据和创建表同时完成
freemarker取list前几条数据
tmd
09-25 1066
1、取前几条数据 <@_categoryListid=4> <#assign n = 0 />// 遍历list之前定义assign=0 <#list page.list as column> <#assign n = n+1 />// list里面再定义assign <#if n gt 3>&l...
hive 表的一些默认值
bupt041137的专栏
08-17 1949
见 Hadoop.The.Definitive.Guide.2nd.Edition P388 Thus, the statement: CREATE TABLE ...; is identical to the more explicit: CREATE TABLE ... ROW FORMAT DELIMITED FIELDS TERM...
Hive空字符串‘‘与NULL值对比
qq_654603797
06-10 1975
Hive里null值和空字符串是两个不同的东西。 NULL值【null】，较为常见，就是所谓的空值，字段没有值。 空字符串【' '】，j
hive中NULL值问题
jiguanglong的博客
05-29 7349
问题描述 源端数据oracle数据库，通过cdm迁移工具将数据迁移到目标端hive。在oracle中的NULL值迁移到hive中后有的字段表现为NULL，有的字段表现为空串“”（即两个引号中间为空）。观察发现字符型的数据字段为空串，非字符型的字段为NULL。 整个链路涉及到了oracle、cdm、hive，分析问题的原因就从这三个产品着手。首先我们知道oracle中没有空串，当插入空串时写入的是NULL。很明显hive与oracle不同，hive中可以写入空串也可以写入NULL，空串和NULL在hive
hive注意事项01_空值处理
u012338969的博客
05-13 3642
1. 空值类型 1.1NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。 1.2 ‘’ ‘’ 表示的是字段不为null且为空字符串，此时用 col is null 是无法查询这种值的，必须通过 aaa =='‘或
命令hive和hive --service metastore的区别
05-23
Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。而hive --service metastore是Hive的一个元数据服务，它提供了Hive元数据的访问和管理。 Hive命令是用于执行Hive查询、创建表、加载数据等操作的命令行工具，它可以交互式地与Hive进行交互。 而hive --service metastore是一个独立的服务，用于管理Hive的元数据。当你使用Hive创建表时，表的定义和元数据将存储在metastore中。hive --service metastore提供了一种方式来访问和管理这些元数据。你可以使用该服务来备份和恢复Hive元数据，或者在多个Hive实例之间共享元数据。 总的来说，Hive命令用于执行Hive查询和管理表数据，而hive --service metastore用于管理Hive元数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值