雨果等夏天的博客

一：Hive数据倾斜产生的原因和解决方案1.1：原因：数据倾斜产生的原因是有与数据的key的分布严重不均导致的，少部分Reduce Job接收了大部分数据。所以业务逻辑、数据量、代码、以及集群配置都会导致数据倾斜。2.2 解决方案1：参数优化set hive.map.aggr=true （在map中会做部分聚集操作，效率更高但需要更多的内存)set hive.groupby.skewindata=true;(数据倾斜时负载均衡,当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJ

写自定义目录标题欢迎使用Markdown编辑器二 实践数据准备1: LEAD与 LAG 、first_value3: first_value 与Last_value新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少...

超经典SQL练习题，做完这些你的ＳＱＬ就过关了原网址：https://blog.csdn.net/flycat296/article/details/63681089# 1. 查询" 01 "课程比" 02 "课程成绩高的学生的信息及课程分数select * from (select * from SC where c = '01') Aleft join (select * from SC ...

备注：写一点关于动态分区表的东西（参见：https://blog.csdn.net/qq_26442553/article/details/80382174）一 创建分区表set hive.exec.dynamic.partition=true;