spark
q79969786
这个作者很懒,什么都没留下…
展开
-
编译Spark源码
编译spark源码时可能会报下面这个错误,uncaught exception during compilation: java.lang.StackOverflowError需要设置maven参数export MAVEN_OPTS="-Xmx1024M -Xms1024M -Xss1M -XX:MaxPermSize=512m -XX:ReservedCodeCacheS原创 2015-05-14 23:46:47 · 1195 阅读 · 0 评论 -
试用Hive on Spark
试用Hive on SparkHive-1.2.0发布已经有几天了,下载后发现hive.execution.engine新增了spark选项,于是配置spark环境,试用Hive on Spark原创 2015-06-03 23:09:10 · 3279 阅读 · 0 评论 -
在IntelliJ 启动Spark的Master和Work
为了阅读Spark阅读源码方便,可以直接在IntelliJ 启动Master和Work,方便debug,下面介绍方法:修改pom.xml 修改pom.xml中com.google.guava的scope,如下图: 启动master 右键Run ‘Master.main()’启动work 启动work需要传入mater URL,如下图 启动后master如下图:原创 2015-05-16 22:17:23 · 5759 阅读 · 1 评论 -
Spark GC 调优
Spark GC 优化原创 2015-05-17 08:32:51 · 13188 阅读 · 0 评论