spark
文章平均质量分 64
DdouQiu
这个作者很懒,什么都没留下…
展开
-
在linux上,用scalac编译在Spark平台上运行的scala程序
1.修改classpath环境变量,加入java,scala,以及spark的一些类库:export CLASSPATH=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.9.x86_64/lib:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.9.x86_64/jre/lib:/usr/lib/jvm/java-1.7.0-openjdk-1原创 2016-10-22 18:49:16 · 2920 阅读 · 0 评论 -
eclipse+scala+spark+maven的配置
1. 首先通过菜单的Help选中Eclipse Marketplace,出现如下界面: 再Find框中输入Scala,会出来Scala IDE插件,安装这个插件,就可以在eclipse上使用scala编写程序了。 2. 点击Help中的Install New Software,出来如下图,点击Add按钮添加url: http://alchim31.net/m2e-scala/upd原创 2017-07-09 20:49:26 · 2863 阅读 · 0 评论 -
Spark性能优化指南,超详细
Spark性能优化指南--基础篇 https://tech.meituan.com/spark-tuning-basic.html Spark性能优化指南--高级篇 http://tech.meituan.com/spark-tuning-pro.html转载 2017-07-19 20:57:26 · 306 阅读 · 0 评论