一、谨慎使用API
大数据场景下,必然是有大量的数据,因此大数据场景下并不怕数据量大,不行可多开几个节点,用以存储。但是大数据场景下,害怕的是数据倾斜,如果使用不当API,很容易造成数据倾斜问题。
容易数据倾斜情况
- group by 不和聚集函数搭配使用的时候
- count(distinct),在数据量大的情况下,容易数据倾斜,因为 count(distinct)是按 group by 字段分组,按 distinct 字段排序
- 小表关联超大表 join
产生数据倾斜的原因
- key 分布不均匀
- 业务数据本身的特性
- C:建表考虑不周全
- D:某些 HQL 语句本身就存在数据倾斜
二、自定义UDAF函数优化
使用自定义UDAF,不怕数据倾斜问题,hadoop在map端汇总合并优化,避免数据倾斜问题。
三、设置合理的map reduce 的Task数量
map阶段的优化
通过调整最大分割和最小分割
## 调整最小分割单元的大小(默认值是1B)
mapred.min.split.size:
## 调整最大分割单元的大小(默认值是256MB)
mapred.max.split.size:
# 无效设置
mapred.map.tasks
注:
- 通过调整max的大小可以起到调整map数量的作用,增加max的大小可以减少map的数量,减小map的数量可以增加map的数量
- 代码块中无效设置是因为map的数量不是通过命令设置的,map的数量是由切片的数量决定的,由逻辑块InputSplit决定的.
通过一下设置来减少map的数量,在文件大小过小的时候减少资源浪费
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
解释:
100000000表示100M
最后一句表示执行前对小文件进行合并
前面三个参数确定合并文件块的大小,大于文件块大小128m的,按照128m来分隔,
小于128m,大于100m的,按照100m来分隔,把那些小于100m的进行合并.
通过查询表中数据,存入一个设置为10个reduce任务的表中,再用此表查询,此时这个表就会由10个数据切片,再去用新表查询就会有10个map启动.
set mapred.reduce.tasks=10;
create table a_1 as
select * from a
distribute by rand(123);
Reduce阶段的优化
通过hive自己确定reduce数,需要的设置
##每个reduce任务处理的数据量,默认为1000^3=1G
hive.exec.reducers.bytes.per.reducer
##每个任务最大的reduce数,默认为999
hive.exec.reducers.max
通过调整每个reduce能够处理的文件大小来控制reduce值
官方默认是1G
hive> set hive.exec.reducers.bytes.per.reducer=500000000;(500M)
通过命令直接设置reduce的个数
set mapred.reduce.tasks=8;
map和reduce的个数并不是越多越好
- 如果在文件非常小的情况下,还要设置很多的map和reduce就会造成资源的浪费.可能会造成一个map或者reduce没有运行完,其他的也需要占着进程等待.
- 当然也不是越少越好,会导致一个文件很大,运行需要很长时间.
小文件合并优化方式
通过配置文件设置
## 是否合并Map输出文件:
hive.merge.mapfiles=true(默认值为true)
##是否合并Reduce端输出文件:
hive.merge.mapredfiles=false(默认值为false)
## 合并文件的大小:
hive.merge.size.per.task=256*1000*1000(默认值为256000000)
hive调优还有哪些方法
表连接优化
- 将大表放后头
Hive假定查询中最后的一个表是大表。它会将其它表缓存起来,然后扫描最后那个表。因此通常需要将小表放前面,或者标记哪张表是大表:/*streamtable(table_name) */ - 使用相同的连接键
当对3个或者更多个表进行join连接时,如果每个on子句都使用相同的连接键的话,那么只会产生一个MapReduce job。 - 尽量尽早地过滤数据
减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段. - 尽量原子化操作
尽量避免一个SQL包含复杂逻辑,可以使用中间表来完成复杂的逻辑
用insert into替换union all
原因:因为如果union all的部分数量大于2 或者union部分数据量过大,运行时将会很慢,可以选择多个insert into语句去进行.
order by & sort by
- order by : 对查询结果进行全局排序消耗时间长,需要set hive.mapred.mode=nostrict
- sort by : 局部排序,并非全局有序,提高效率。
limit 语句快速出结果
一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。
有一个配置属性可以开启,避免这种情况—对数据源进行抽样
hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能
hive.limit.row.max.size --- 设置最小的采样容量
hive.limit.optimize.limit.file --- 设置最大的采样样本数
开启并行执行
set hive.exec.parallel=true,可以开启并发执行。
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度,默认为8。
关闭严格模式
set hive.marped.mode=strict --防止用户执行那些可能意想不到的不好的影响的查询