Spark
文章平均质量分 83
despairM
这个作者很懒,什么都没留下…
展开
-
关于Spark的几个问题
看了小半年的Spark的源码,也在工作中用它做了不少数据清洗,ETL的工作,今天提3个不太明白的问题,仅供自己记录学习,感觉这些也是同样容易让大家感到困惑的地方,如果对于大家有所帮助,我认为那是更好的了。 先把问题列出,这里谈的Spark的运行模式均为Standalone模式: 问题1、 spark-shell 命令driver运行在本机还是master,...原创 2015-03-02 20:28:07 · 172 阅读 · 0 评论 -
关于Spark中RDD的思考和总结
(代码基于Spark-core 1.2.0) 本来这篇想结合自己的经验讨论shuffle,但是shuffle讨论之前还是准备先讨论一下关于RDD的问题。 网上介绍RDD的我看过的有: 0、 http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf Spark paper 这个是设计时候的paper 1、 h...原创 2015-03-17 22:55:20 · 243 阅读 · 0 评论