hive相对于oracle的优点,【Hive】Hive面试题

1、hive的join有几种方式，怎么实现join的？

left join

--以左表为基准，不符合的值以null值显示

--工作中以left join 居多，大表加载小表的形式

select empno,ename,emp.deptno,dname from emp left join dept on

emp.deptno=dept.deptno;

right join

--以右表为基准，不符合的值以null值显示

select empno,ename,emp.deptno,dept.deptno from emp right join

dept on emp.deptno=dept.deptno;

full join

select empno,ename,emp.deptno,dept.deptno from emp full join

dept on emp.deptno=dept.deptno;

===============================================

2、hive内部表与外部表的区别

Hive

创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。

在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；

2、在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！

===========================================================

3、hive表关联要注意什么，任意两张表都可以关联么？

===========================================================

4、hive是如何实现分区的？

Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。

===========================================================

5、hive支持not in 么？

hive在0.13版本后已经支持in和not in了！hive已经越来越像我们平时使用的关系型数据库了！

===============================================

6、 Hive有那些方式保存元数据的，各有那些特点。

1) 内存数据库derby，较小，不常用

2) 本地mysql，较常用

3) 远程mysql，不常用

===============================================

7、hive如何优化，列举说明

hive查询操作优化

-------group by 优化---------

set hive.groupby.skewindata=true 如果是group

by过程出现倾斜应该设置为true;

set hive.groupby.mapaggr.checkintenval=1000000;

这个是group的键对应的记录条数超过这个值则会进行优化

-----------join优化-------------------

set

hive.optimize.skewjoin=true;如果是join过程出现倾斜 应该设置为true

set

hive.skewjoin.key=1000000;--这个是join的键对应的记录条数超过这个值则会进行优化

-----------mapjoin-----------------

当表小于25mb的时候，小表自动注入内存

set hive.auto.convert.join=true;

set

hive.mapjoin.smalltable.filesize=25mb; 默认值是25mb

===========================================================

8、hive底层与数据库交互原理

Hive的查询功能是由hdfs + mapreduce结合起来实现的

Hive与mysql的关系：只是借用mysql来存储hive中的表的元数据信息，称为metastore

===========================================================

9、hive如何权限控制？

Hive从0.10版本(包含0.10版本)以后可以通过元数据来控制权限，Hive-0.10之前的版本对权限的控制主要是通过Linux的用户和用户组来控制，不能对Hive表的CREATE、SELECT、DROP等操作进行控制，当然Hive基于元数据来控制权限也不是完全安全的，目的就是为了防止用户不小心做了不该做的操作

===========================================================

10、hive能像关系型数据库那样，建多个库么？

===========================================================

11、hive中sort by和order by的区别？

使用order by会引发全局排序

使用distribute和sort进行分组排序

===========================================================

12、hive中的压缩格式各有什么区别？

RCFile

RCFile是Hive推出的一种专门面向列的数据格式。

它遵循“先按列划分，再垂直划分”的设计理念。当查询过程中，针对它并不关心的列时，它会在IO上跳过这些列。需要说明的是，RCFile在map阶段从

远端拷贝仍然是拷贝整个数据块，并且拷贝到本地目录后RCFile并不是真正直接跳过不需要的列，并跳到需要读取的列，

而是通过扫描每一个row group的头部定义来实现的，但是在整个HDFS Block 级别的头部并没有定义每个列从哪个row

group起始到哪个row

group结束。所以在读取所有列的情况下，RCFile的性能反而没有SequenceFile高。

TextFile：

Hive默认格式，数据不做压缩，磁盘开销大，数据解析开销大。

可结合Gzip、Bzip2、Snappy等使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

SequenceFile：

SequenceFile是Hadoop API

提供的一种二进制文件，它将数据以的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Writable

接口实现序列化和反序列化。它与Hadoop API中的MapFile 是互相兼容的。Hive 中的SequenceFile

继承自Hadoop API 的SequenceFile，不过它的key为空，使用value 存放实际的值， 这样是为了避免MR

在运行map 阶段的排序过程

===========================================================

13、hive的两张表关联，使用mapreduce是怎么写的？

===========================================================

14、hive相对于Oracle来说有哪些优点？

hive 是数据仓库，oracle是数据库，hive

能够存储海量数据，hive还有更重要的作用就是数据分析，最主要的是免费。

1

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：

map输出数据按key

Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce

上的数据量差异过大。

1)、key分布不均匀;

2)、业务数据本身的特性;

3)、建表时考虑不周;

4)、某些SQL语句本身就有数据倾斜;

如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。

解决方案

1>.参数调节：

hive.map.aggr = true

hive.groupby.skewindata=true

有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR

Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group

By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By

Key 分布到 Reduce 中(这个过程可以保证相同的 Group By Key

被分布到同一个Reduce中)，最后完成最终的聚合操作。

2>.SQL 语句调节：

1)、选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join

的时候，数据量相对变小的效果。

2)、大小表Join：

使用map join让小的维度表(1000 条以下的记录条数)先进内存。在map端完成reduce.

4)、大表Join大表：

把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null

值关联不上，处理后并不影响最终结果。

5)、count distinct大量相同特殊值:

count distinct 时，将值为空的情况单独处理，如果是计算count

distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group

by，可以先将值为空的记录单独处理，再和其他计算结果进行union。

2.

请谈一下hive的特点是什么？hive和RDBMS有什么异同？

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

3. 请把下一语句用hive方式实现？

SELECT a.key,a.value

FROM a

WHERE a.key not in (SELECT b.key FROM b)

答案：

select a.key,a.value from a where a.key not exists (select b.key

from b)

4. Multi-group by

是hive的一个非常好的特性，请举例说明

from A

insert overwrite table B

select A.a, count(distinct A.b) group by A.a

insert overwrite table C

select A.c, count(distinct A.b) group by A.c

5. 请说明hive中 Sort By，Order By，Cluster

By，Distrbute By各代表什么意思。

order

by：会对输入做全局排序，因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

sort by：不是全局排序，其在数据进入reducer前完成排序。

distribute by：按照指定的字段对数据进行划分输出到不同的reduce中。

cluster by：除了具有 distribute by 的功能外还兼具 sort by 的功能。

6.简要描述数据库中的

null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b

on a.id=b.id where b.id is null; 语句的含义

null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。

null在hive底层默认是用'\N'来存储的，可以通过alter table test SET

SERDEPROPERTIES('serialization.null.format' = 'a');来修改。

查询出t1表中与t2表中id相等的所有信息。

7.写出hive中split、coalesce及collect_list函数的用法(可举例)。

Split将字符串转化为数组。

split('a,b,c,d' , ',') ==> ["a","b","c","d"]

COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。

collect_list列出该字段所有的值，不去重 select collect_list(id)

from table;

8.写出将 text.txt 文件放入 hive 中 test

表‘2016-10-10’ 分区的语句，test 的分区字段是 l_date。

LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE

test PARTITION (l_date='2016-10-10')