大数据
黑马程序员广州中心
这个作者很懒,什么都没留下…
展开
-
Spark数据倾斜无法解决?来看这份完美的解决方案
数据倾斜是在大数据计算中常见的问题,用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配 到一个分区里,造成了’一个人累死,其他人闲死’的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先 一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这个忙碌的节点,也拖累了整体的计算时间,可以说 效率是十分低下的。 以下针对spark具体计算场景,给出数据倾斜解...原创 2019-06-03 16:47:16 · 232 阅读 · 0 评论 -
Spark系列——从零学习Scala并发编程
(文章转载自黑马程序员广州中心官方论坛,发布已获得授权)原创 2019-06-18 11:06:47 · 190 阅读 · 0 评论 -
26岁,美国工作,有房有车:她能靠的仅有努力
昨天,我的一位好朋友过来广州办理毕业申请,闲暇之余,找我小聚。 她告诉我,忙完这几天,就回加拿大了,也许下一次再见,是一年,甚至两年后。 26岁,研究生毕业,定居加拿大,美国工作,有房,有车,靠的是自己。 和她比起来,我简直就是个渣渣。可她却说,自己其实很普通。认识她的朋友都知道,她全日制学历只有高中学历,大专是自考的,本科也是自考的,研究生同样是靠自己的努力考取的。 她的人生,靠的仅有努力。 ...原创 2019-06-26 17:34:10 · 172 阅读 · 0 评论