spark
文章平均质量分 70
山歌在努力
这个作者很懒,什么都没留下…
展开
-
详细探究Spark的shuffle实现
Background在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,自然也实现了shuffle的逻辑,本文就深入研究Spark的shuffle是如何实现的,有什么优缺点,与Hadoop转载 2016-10-18 10:55:03 · 334 阅读 · 0 评论 -
mac下利用IDEA工具Maven编译Spark源码
编译步骤如下:1.从官网下载spark源码,注意是souce code,不是提前编译好的版本,我这里下载的是spark1.4.1。2.确保IDEA上安装了scala插件plugins,本机也安装了maven3.3.9及以上版本和java7+,如图:3.将源码文件解压,并import进IDEA导入方式选择MAVEN。 4.更改pom.xml文件。4.1 查看java版本是否跟你机子用的java版原创 2017-05-22 16:21:36 · 1756 阅读 · 0 评论 -
Spark集群的安装
Spark集群的安装步骤1.下载编译好的对应版本到目标文件夹中。 2.修改conf目录中的spark-env.sh文件,添加以下内容: export JAVA_HOME=/usr/java/jdk1.7.0_45 export SPARK_MASTER_IP =cloudera-a export SPARK_MASTER_PORT = 7077 3.修改slaves文件,添加以下内容:原创 2017-09-01 11:25:28 · 336 阅读 · 0 评论