![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
问题解决
The Great Ant
做一个功成名就的人
展开
-
2021-05-04
数据倾斜产生原因 我们以Spark和Hive的使用场景为例。 他们在做数据运算的时候会涉及到,count distinct、group by、join on等操作,这些都会触发Shuffle动作。一旦触发Shuffle,所有相同key的值就会被拉到一个或几个Reducer节点上,容易发生单点计算问题,导致数据倾斜。 一般来说,数据倾斜原因有以下几方面: 1)key分布不均匀 2)建表时考虑不周 我们举一个例子,就说数据默认值的设计吧,假设我们有两张表: user(用户信息表):userid,registe转载 2021-05-04 22:39:29 · 57 阅读 · 0 评论 -
2021-05-04
数据倾斜表现 1)hadoop中的数据倾斜表现: 有一个多几个Reduce卡住,卡在99.99%,一直不能结束。 各种container报错OOM 异常的Reducer读写的数据量极大,至少远远超过其它正常的Reducer 伴随着数据倾斜,会出现任务被kill等各种诡异的表现。 2)hive中数据倾斜 一般都发生在Sql中group by和join on上,而且和数据逻辑绑定比较深。 3)Spark中的数据倾斜 Spark中的数据倾斜,包括Spark Streaming和Spark原创 2021-05-04 22:38:40 · 45 阅读 · 0 评论 -
2021-04-08
如何去掉xmind的备注红色下划线 在使用xmind思维导图软件编写导图时,有时候需要添加备注,经常会遇到备注里的文字底下有红色的下划线(如下图所示),特别影响观看效果 其实,是拼写检查在搞怪,如下图,去掉拼写检查的设置就好了。 编辑–>首选项–>拼写检查–>去掉‘开启拼写检查’前面的勾选即可 ...原创 2021-04-08 19:29:49 · 56 阅读 · 0 评论