spark
happylzs2008
这个作者很懒,什么都没留下…
展开
-
spark shuffle内在原理说明
http://www.cnblogs.com/bonelee/p/6039202.html 在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,自然也实现了shuffle的逻辑。转载 2017-08-04 01:43:16 · 169 阅读 · 0 评论 -
Spark 高级分析:第二章第1节Scala和数据科学家
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22770&extra=page%3D1&ordertype=1 问题导读 1.数据科学项目的第一步是什么? 2.Spark是用什么语言编写的?是否可以使用R/Python调用Spark? 3.哪些做法能使你更好地理解Spark? 上一篇:Spark 高级转载 2017-09-26 20:41:58 · 235 阅读 · 0 评论