大数据面试题——Hive篇

1. Hive有哪些方式保存元数据，各有什么特点？

Hive支持三种不同的元存储服务器，分别为：内嵌式元存储服务器、本地元存储服务器、远程元存储服务器，每种存储方式使用不同的配置参数。

• 内嵌式元存储主要用于单元测试，在该模式下每次只有一个进程可以连接到元存储，Derby是内嵌式元存储的默认数据库。
• 在本地模式下，每个Hive客户端都会打开到数据存储的连接并在该连接上请求SQL查询。
• 在远程模式下，所有的Hive客户端都将打开一个到元数据服务器的连接，该服务器依次查询元数据，元数据服务器和客户端之间使用Thrift协议通信。

2. 请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？

• order by：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个* reducer，会导致当输入规模较大时，需要较长的计算时间。
• sort by：不是全局排序，其在数据进入reducer前完成排序。
• distribute by：按照指定的字段对数据进行划分输出到不同的reduce中。
• cluster by：除了具有 distribute by 的功能外还兼具 sort by 的功能。

3. 简要描述数据库中的 null，说出null在hive底层如何存储，并解释select a.* from t1 a left outer join t2 b on a.id=b.id where b.id is not null; 语句的含义？

null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。
null在hive底层默认是用’\N’来存储的，可以通过alter table test SET SERDEPROPERTIES(‘serialization.null.format’ = ‘a’);来修改。
该语句的含义是查询出t1表中与t2表中id相等的所有信息。

4. Hive优化（重要）

4.1 Fetch抓取

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

将hive.fetch.task.conversion设置成more，然后执行查询语句，如一下查询方式都不会执行MR程序。