- 博客(3)
- 收藏
- 关注
原创 spark - 数据倾斜 - Partitioner源码分析
spark - 数据倾斜 - Partitioner源码分析为何会出现数据倾斜, 如何处理数据倾斜问题?有大数据处理经验的朋友应该都遇到过数据倾斜的问题,即数据分布不均匀导致任务分配不均匀,从而造成 "一个人累死,其他人闲死" 的情况。其他人在处理完任务之后,要一直等待这个未完成的任务,从而导致总任务时间很长,或者这个任务没有做完,这个人扛不住病倒了,那么整个任务也就失败了,也就是可能...
2019-03-29 17:41:13
187
原创 高效协同 - 如何提问
最近经常有朋友来问我一些问题,我也很乐意一起讨论技术或者非技术的东西。有的朋友提的问题,实在是不清楚想要问什么,又不好意思不理会,但一来一往问答式的交流往往会浪费双方很多的时间。我自己在向别人寻求帮助时一般按这种形式说明情况:1. 讲背景讲清楚问题产生的背景,比如为什么这样做,想要干什么。2. 讲过程讲清楚做了什么事情导致了这个问题,并且对于这个问题做了哪些尝试,能得出哪些结论...
2019-03-29 16:23:45
502
原创 浅谈加班 - 透过加班看管理
浅谈加班 首先表明我的观念: 我接受加班行为,但是很多时候不接受加班动机。解释一下:接受加班行为:假如由于一些无法避免的原因,不能够在工作时间内完成相应的任务,比如项目时间紧,任务重等,我自愿为此付出一定的个人时间来加班,此时的加班工作是为公司带来收益,是替公司赚钱,大家心里头乐意;不接受加班动机:很多时候并非用户刻意刁难,反而加班大多在为项目经理或者团队某个leader的失误...
2019-02-24 20:13:53
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人