【大数据】基础知识 4

小白学数据，只为记录学习进程，对每个问题有新的理解会及时更正。

一、Hive数据倾斜解决方案
数据倾斜原因是有的key对应了太多的数据，这些数据都集中到一个reducer上处理，表现出来是，其他reduce都处理完了，但这个reduce一直没结束任务
解决方法：
1、设置hive.map.aggr = true：先在map端对数据进行整合，把Key相同的放在一起，减少数据量，这样可以减少进入reduce的数据量，可以一定程度优化数据倾斜的问题。
2、设置均衡负载器，hive.groupby.skewindata = true：这样可以开启两个mrjob，完成任务，第一个mr的map端会随机的把数据分配到reduce中，使数据均衡分布在每个reduce任务中，reducer完成相关的聚合操作；第二个mrjob再把相同的key分配到一个reduce中，reduce完成整合即可。这样使得集中的数据再第一个mrjob中均匀分配，完成了聚合操作，避免了数据倾斜问题
3、SQL调节，join的时候，用key分布均匀的表作为驱动表
4、小表join大表：使用mapjoin，把小表放在内存中，在map端就完成join操作
5、关联词有null：因为关联的时候会把Null的数据集中到一个reduce中，所以可以在关联之前把null对应的数据过滤掉，或者使用case when 方法把null值随机赋值
6、含有count (distinct )的时候，可使用sum … group by 来替代

二、order by，sort by，distribute by，cluster by的区别
order by：全局排序，对所有数据排序，只产生一个reducer
distribute by，sort by： 经常一起使用，表示分区排序，distribute by 后跟分区字段，sort by 接排序字段，产生多个reducer，以及多个文件
cluster by：当distribute by，sort by后面的字段都一样的时候，可以简写成cluster by。

二、Hive的优化策略
1、使用mapjoin：把小表放在内存中，在map端就完成join操作，减少reduce压力
2、进行行列处理：行处理，先对数据进行筛选再join，不要先join再筛选，避免了全局join；列处理：尽量select出来具体有用的字段，不要用select * 筛选出全部字段
3、采用分区分桶技术：避免了查询时候的全局扫描
4、设置合理的map数量：当小文件过多，通过合并小文件，来减少map数量，因为每个map启动会耗费资源和时间，若启动很多Map处理小文件，启动和初始化map的时间远大于逻辑处理的时间，造成了很多资源浪费；若数据是字段很少，但行数很多的数据样式，即使大小的接近128M的，也要拆分文件，增加map数量来处理，因为map读取数据是按行读取的，若不处理，一个map读取数据就会耗费很多时间。
5、设置合理的reduce数量：启动，初始化reduce也是耗费资源的，过多的reduce会耗费大量资源，同时也会输出过多的小文件
6、谓词下推：把过滤条件尽可能写的靠近源数据的部分