数据开发总结

hive

hive sql调优

count（distinct）

Join优化

mapjoin是大表join小表 将小表读入内存 写 hint的方式：
select /*+ MAPJOIN(a) */ a.c1, b.c1 ,b.c2 from a join b where a.c1 = b.c1;

groupby 聚合倾斜

解决方法：
set hive.map.aggr=true;
set hive.groupby.skewindata=true;
hive.map.aggr=true 这个配置代表开启map端聚合；
hive.groupby.skewindata=true，当选项设定为true，生成的查询计划会有两个MR Job。当第一个MR Job中，Map的输出结果结合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果。这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的。第二个MR Job再根据预处理的数据结果按照Group By Key分布到reduce中，这个过程可以保证相同的key被分到同一个reduce中，最后完成最终的聚合操作。

合理控制 MapTask，ReduceTask数量

原因1：当出现小文件过多或者
原因2：输入数据存在大块和小块的严重问题，比如 说：一个大文件128M，还有1000个小文件，每 个1KB。 解决方法：任务输入前做文件合并，将众多小文件合并成一个大文件。通过set hive.merge.mapredfiles=true解决；

原因3：单个文件大小稍稍大于配置的block块的大小，此时需要适当增加map的个数。解决方法：set mapred.map.tasks的个数；

原因4：文件大小适中，但是map端计算量非常大，如：select id,count(*),sum(case when…),sum(case when …)…需要增加map个数。解决方法：set mapred.map.tasks个数，set mapred.reduce.tasks个数

内部表外部表

连续登陆问题

行转列 列转行

distribute by

字段相同的会到同一个task处理
order by 全局排序，且只有一个task在处理
sort by 在task内部进行排序 一般签名会接distribute by

row_number

row_number无并列，一直连续
dense_rank有并列，一直连续
rank有并列，有间隔（非一直连续）

hivesql转换成mapreduce

数据仓库

数仓分层

好的数据仓库满足要求

数据建模过程