![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
周少zzg
这个作者很懒,什么都没留下…
展开
-
Spark Core开发准则
1,尽量少生成RDD2,尽量少进行算子操作,如果不能减少,则尽量合并算子,一次进行多个算子操作。3,尽量少进行shuffle,shuffle是性能杀手,还有可能引起数据倾斜等严重问题。4,大数据开发,性能第一。因为大数据的特性决定,数据量非常大,执行时间长,所以性能必须第一。...原创 2018-02-25 09:29:37 · 201 阅读 · 0 评论 -
Accumulator的使用
Accumulator:累加器 在进行相同类型的计数时,可以将Accumulator合并为1个,在一个当中实现多个Accumulator要实现的业务,同时这种方式有低耦合,易维护的优点。同时可以更方便得进行中间状态的维护,不用担心并发和锁的问题。 Accumulator就是一个累加器,在实现AccumulatorParam<T>(T可以是自定义类型)这个接口之后,实现相关方...原创 2018-02-25 09:31:18 · 4431 阅读 · 0 评论