![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Lucosax-Yang
这个作者很懒,什么都没留下…
展开
-
Spark详解
Spark概述 当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年,社区出现了优化改进MapReduce的项目,如交互查询引擎Impala、支持DAG的TEZ、支持内存计算S转载 2014-10-04 19:23:09 · 908 阅读 · 0 评论 -
在Tachyon上面运行Spark(中文文档)
兼容性 默认的,Spark 1.0.x版本绑定的是Tachyon 0.4.1版本.如果你的Tachyon版本不同,那需要在这个文件: spark/core/pom.xml 中指定Tachyon的版本,然后重新编译正确的版本的Spark. 与Tachyon进行数据IO 这一部分的额外前提是Spark(0.6 或者后续版原创 2014-10-21 00:26:06 · 1164 阅读 · 0 评论