- 博客(2)
- 收藏
- 关注
RSS订阅原创 关于Spark中RDD的思考和总结
（代码基于Spark-core 1.2.0） 本来这篇想结合自己的经验讨论shuffle，但是shuffle讨论之前还是准备先讨论一下关于RDD的问题。 网上介绍RDD的我看过的有： 0、 http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf Spark paper 这个是设计时候的paper 1、 h...
2015-03-17 22:55:20
233
原创 关于Spark的几个问题
看了小半年的Spark的源码,也在工作中用它做了不少数据清洗，ETL的工作，今天提3个不太明白的问题，仅供自己记录学习，感觉这些也是同样容易让大家感到困惑的地方，如果对于大家有所帮助，我认为那是更好的了。 先把问题列出，这里谈的Spark的运行模式均为Standalone模式： 问题1、 spark-shell 命令driver运行在本机还是master,...
2015-03-02 20:28:07
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人