不管再出现分布式计算框架出现数据倾斜问题解决思路如下：很多数据倾斜的问题，都可以用和平台无关的方式解决，比如更好的数据预处理，异常值的过滤等。因此，解决数据倾斜的重点在于对数据设计和业务的理解，这两个搞清楚了，数据倾斜就解决了大部分了。关注这几个方面：数据预处理。解决热点数据：分而治之(第一次打散计算，第二次再最终聚合计算)。业务逻辑方面程序代码层面导致最终只有一个Reduce任务的，需要想到用替代的关键字或者算子去提升Reduce任务数。调参。

动态内存占比，提升内存的合理利用率统一管理Storage和Execution内存，便于调优和维护由于Execution占用Storage内存可不规划，存在Storage内存不够频繁GC的情况。

大家好，我是老兵。最近在不同信息渠道获悉到很多关于跳槽的动态，有一些想法想和大家聊聊，以下内容仅作个人感想，无关建议。

本期是一期读书笔记分享，我选择的经典书籍是，主要精读其中的数据模型篇。这本书的经典之处我不再赘述。我主要对篇章中的核心知识脉络进行整理，并结合数仓面试考点，希望帮大家在阅读本书时提供重难点梳理和学习思路。

大家好，我是老兵。五月将开启一个新系列—Flink源码精读。讲解内容以一个运行程序为切入点，剖析Flink任务提交->task任务执行本期为Flink源码精读系列第一期—Flink源码编译，内容包含Flink源码下载、编译，作为精讲系列的开篇。话不多说，我们开始。

Spark广播变量底层的实现原理？

大数据笔试SQL之电商篇

老兵原创大数据笔试必看SQL篇

spark源码精讲，结合企业级开发和面试实战重点关注内容

老兵硬核讲解Flink面试体系~

五万字企业级数仓搭建

有一人来买瓜，如何保熟？老兵趣味讲解算法建模

万字讲解数仓质量体系构建

聊聊数据治理那些事

原创肝文！基于Spark+Grafana可视化电商项目实战

老兵唠唠大数据入门的那些事，很简单也很干货。

粉丝投稿：我的大数据求职之路

干货，基于spark graphframes图计算的社交关系图谱

用户留存怎么做？老兵有话说。

企业级数仓搭建，从0到1指导