1. Hive和数据库比较
Hive 和数据库除了拥有类似的查询语言,再无类似之处。
1)数据存储位置
Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。
2)数据更新
Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的,
3)执行延迟
Hive 执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优势。
4)数据规模
Hive支持很大规模的数据计算;数据库可以支持的数据规模较小。
2. 内部表和外部表
1)管理表:当我们删除一个管理表时,Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。
2)外部表:删除该表并不会删除掉原始数据,删除的是表的元数据
3. 4个By区别
1)Sort By:分区内有序;
2)Order By:全局排序,只有一个Reducer;
3)Distrbute By:类似MR中Partition,进行分区,结合sort by使用。
4) Cluster By:当Distribute by和Sorts by字段相同时,可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC。
4. 窗口函数
RANK() 排序相同时会重复,总数不会变
DENSE_RANK() 排序相同时会重复,总数会减少
ROW_NUMBER() 会根据顺序计算
1) OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化
2)CURRENT ROW:当前行
3)n PRECEDING:往前n行数据
4) n FOLLOWING:往后n行数据
5)UNBOUNDED:起点,UNBOUNDED PRECEDING 表示从前面的起点, UNBOUNDED FOLLOWING表示到后面的终点
6) LAG(col,n):往前第n行数据
7)LEAD(col,n):往后第n行数据
8) NTILE(n):把有序分区中的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,NTILE返回此行所属的组的编号。注意:n必须为int类型。
5. 自定义UDF、UDTF
在项目中是否自定义过UDF、UDTF函数,以及用他们处理了什么问题,及自定义步骤?
1)自定义过。
2)用UDF函数解析公共字段;用UDTF函数解析事件字段。
自定义UDF:继承UDF,重写evaluate方法
自定义UDTF:继承自GenericUDTF,重写3个方法:initialize(自定义输出的列名和类型),process(将结果返回forward(result)),close
为什么要自定义UDF/UDTF,因为自定义函数,可以自己埋点Log打印日志,出错或者数据异常,方便调试.
6. Hive优化
1)MapJoin
如果不指定MapJoin或者不符合MapJoin的条件,那么Hive解析器会将Join操作转换成Common Join,即:在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join,避免reducer处理。
2)行列过滤
列处理:在SELECT中,只拿需要的列,如果有,尽量使用分区过滤,少用SELECT *。
行处理:在分区剪裁中,当使用外关联时,如果将副表的过滤条件写在Where后面,那么就会先全表关联,之后再过滤。
3)采用分桶技术
4)采用分区技术
5)合理设置Map数
(1)通常情况下,作业会通过input的目录产生一个或者多个map任务。
主要的决定因素有:input的文件总个数,input的文件大小,集群设置的文件块大小。
(2)是不是map数越多越好?
答案是否定的。如果一个任务有很多小文件(远远小于块大小128m),则每个小文件也会被当做一个块,用一个map任务来完成,而一个map任务启动和初始化的时间远远大于逻辑处理的时间,就会造成很大的资源浪费。而且,同时可执行的map数是受限的。
(3)是不是保证每个map处理接近128m的文件块,就高枕无忧了?
答案也是不一定。比如有一个127m的文件,正常会用一个map去完成,但这个文件只有一个或者两个小字段,却有几千万的记录,如果map处理的逻辑比较复杂,用一个map任务去做,肯定也比较耗时。
针对上面的问题2和3,我们需要采取两种方式来解决:即减少map数和增加map数;
6)小文件进行合并
在Map执行前合并小文件,减少Map数:CombineHiveInputFormat具有对小文件进行合并的功能(系统默认的格式)。HiveInputFormat没有对小文件合并功能。
7)合理设置Reduce数
Reduce个数并不是越多越好
(1)过多的启动和初始化Reduce也会消耗时间和资源;
(2)另外,有多少个Reduce,就会有多少个输出文件,如果生成了很多个小文件,那么如果这些小文件作为下一个任务的输入,则也会出现小文件过多的问题;
在设置Reduce个数的时候也需要考虑这两个原则:处理大数据量利用合适的Reduce数;使单个Reduce任务处理数据量大小要合适;
8)常用参数
// 输出合并小文件
SET hive.merge.mapfiles = true; – 默认true,在map-only任务结束时合并小文件
SET hive.merge.mapredfiles = true; – 默认false,在map-reduce任务结束时合并小文件
SET hive.merge.size.per.task = 268435456; – 默认256M
SET hive.merge.smallfiles.avgsize = 16777216; – 当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge
7.Hive的SQL语句如何转换为MR任务?
- 先通过SQLParser解析器对SQL语句进行解析
- 再通过PhysicalPlan编译器对其进行编译
- 通过QueryPotimizer优化对其进行优化
- 最后通过Execution执行器生成MR任务,进行运行
8.几种join的区别
inner join:只有连接的两个表中都存在与连接标准相匹配的数据才会保留下来
left outer join:左边表全返回,右边表没匹配的返回null
right outer join:同上
full outer join:(完全外连接)会返回所有表中符合where筛选条件的记录
left semi join:(左半开连接)返回左表的记录,其记录对于右表满足on的筛选条件(可替代in)
cross join(不指定连接条件的join):笛卡尔积join
map join:小表join大表,小表在左边,大表右边,将小表读入内存,在map端join大表,省略reduce
9.drop delete turncate区别
drop:删除整个表数据及表定义
delete:可以有条件的删除(delete from 表名 where)数据,保留表结构
truncate:删除所有数据
10.where和having有什么区别
where:是一个约束声明,在对查询结果进行分组前先筛选数据,条件中不能包含聚合函数,作用在group by和having前
having:是一个过滤声明,是在查询返回结果集之后对结果进行的过滤操作,筛选分组的数据
11.select、from、where、group by、order by在一个Hive语句中,这些执行的顺序
from–>on–>join–>where–>group by–>having–>select -->distinct–>union–>order by–>limit
12.分区和分桶具体怎么实现的,有什么区别
分区是对数据表中的某列或某些列进行划分,划分为多个区,形式上可以理解为文件夹
分桶是对分区来说更细粒度的划分,通过对某列计算hash,通过计算结果进行分桶
分区:将数据从物理上转移到和使用最频繁的用户更近的地方,分区表改变了hive对数据存储的组织方式,warehouse/数据库/表名 —> warehouse/数据库/表名/dt=2020 ,分区后hive将创建可以反映分区结构的子目录,dt的值已经包含在目录名称中了,所以没必要将其存放在目录下的文件中。
分桶:指定分桶表的某一列,让该列数据按照哈希取模的方式随机、均匀地分发到各个桶文件中。因为分桶改变了数据的存储方式,它会把哈希取模相同或者在某一区间的数据行放在同一个桶文件中。提高查询效率(对两张在同一列上进行了分桶操作的表进行JOIN操作的时候,只需要对保存相同列值的桶进行JOIN操作即可)
建表语句: create table ... cluster by user_id into 96 buckets
插入时set hive.enforce.bucketing=true
强制hive为目标分桶表设置正确的reducer数,如果不指定,需要自己设置正确的reducer数:set mapred.reduce.tasks=96
13.Hive的map/reduce数怎么确定
map
map数没有办法直接设置,主要决定因素为:输入文件的数量、大小,集群设置的文件块的大小。
调整map数的几个参数:
set mapred.max.split.size=100000000
(决定每个map处理的最大的文件大小)
set mapred.min.split.size.per.node=100000000
(一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并))
set mapred.min.split.size.per.rack=100000000
(一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并))
reduce
不指定的话,默认的计算方式为:
min(每个任务最大的reduce数,总输入数据量/每个reduce任务处理的数据量)
调整reduce数的几个参数:
hive.exec.reducers.bytes.per.reducer
(每个reduce任务处理的数据量)
mapred.reduce.tasks
(设置reduce的数量)
hive.merge.mapredfiles
(reduce端小文件合并)
14.如何判断数据倾斜及解决方法
数据倾斜的表现
- MapReduce:reduce阶段卡住,如一直卡在99.9%,查看日志或监控页面显示:有一个多几个reduce卡住,各种container报错OOM,读写的数据量极大,至少远远超过其它正常的reduce,伴随着数据倾斜,还可以通过任务的counter判断,倾斜的task的counter特别大,输出字符数特别多
- Spark:Executor lost,OOM,Shuffle过程出错,Driver OOM,单个Executor执行时间特别久,整体任务卡在某个阶段不能结束
可能造成数据倾斜的几个原因
- 数据的key分化严重不均,某一个key的条数比其他key多很多,这条key所在的reduce节点所处理的数据量比其他节点就大很多,造成一部分数据很多,一部分数据很少的局面
- 配置不合理、业务逻辑不合理
- group by 维度过小,某值的数过多 后果:处理某值的reduce非常耗时
- count distinct某特殊值过多 后果:处理此特殊值的reduce耗时,distinct会把所有数据shuffle到一个reducer中,group by 会把数据分布到多台机器上执行
- join,大表与大表,空值过多,结果空值都到一个reducer中进行处理
- 不同数据类型进行关联产生倾斜,一个ID为int,另一个表中ID有的为int,有的为string,进行join时会按int来hash,导致所有的string类型都分到一个reducer中
数据倾斜的解决方法
解决 group by 造成的数据倾斜
hive.map.aggr=true
:在map中会做部分聚集操作,效率更高但需要更多的内存hive.groupby.skewindata=true
:数据倾斜时负载均衡- 对count distinct,将值为空的情况单独处理,或使用子查询,先group by ,再count*
解决 join 造成的数据倾斜
- hive.optimize.skewjoin = true
- 如果有小表参与 join 操作,使用 map join
- 把特殊值select出来单独做join,不特殊的再一起join,最后结果union
- 谓词下推:尽早进行过滤,减少后续处理的数据量
- 把空值改一个随机数,如111,222(可解决大表join大表时的空key倾斜)
13.Hive中小文件相关问题
小文件是如何产生的
- 动态分区插入数据,产生大量的小文件,从而导致map数量剧增
- reduce数量越多,小文件也越多
- 数据源本身就包含大量的小文件
小文件的影响
- 小文件会开很多map,一个map开一个JVM去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重影响性能
- HDFS中,小文件过多会占用大量内存,NameNode内存容量严重制约了集群的扩展
- HDFS读写小文件更加耗时,每次都需要从 NN 获取元信息,并与对应的DataNode建立连接。
小文件的解决方案
- 设置合并参数:
是否合并Map输出文件:hive.merge.mapfiles=true(默认值为真)
是否合并Reduce 端输出文件:hive.merge.mapredfiles=false(默认值为假)
合并文件的大小:hive.merge.size.per.task=256
- 少使用textfile;
- 少用动态分区;
- 设置reduce数量
对于已有的小文件的解决方案
- Hadoop archive命令进行归档(har命令);
- 重跑数据,指定map reduce参数,指定存储格式(ORC)
14.行转列与列转行
行转列:explode,一般结合侧视图使用
列转行:collect_set、collect_list(set去重、list不去重)