- 博客(1)
- 收藏
- 关注
原创 一文详解数据倾斜
一文详解数据倾斜 前言 本文是介绍的是开发spark极其核心的地方,可以说懂得解决spark数据倾斜是区分一个spark工程师是否足够专业的标准,在面试中以及实际开发中,几乎天天面临的都是这个问题。 原理以及现象 先来解释一下,出现什么现象的时候我们认定他为数据倾斜,以及他数据倾斜发生的原理是什么? 比如一个spark任务中,绝多数task任务运行速度很快,但是就是有那么几个task任务运行极其缓慢,慢慢的可能就接着报内存溢出的问题了,那么这个时候我们就可以认定他是数据倾斜了。 接下来说一下发生数据倾斜的底
2020-11-30 21:22:01 297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人