本文详细介绍了如何在Spark-Mesos环境下编译和运行自定义的Scala程序。首先，安装SBT，然后创建并配置项目，包括编写源代码和设置构建文件。接着，通过sbt package进行编译，并将结果部署到Mesos集群的slave节点。最后，解决运行时遇到的环境变量问题，使得Spark Executor能够正确找到并执行程序。
配置好了spark-mesos环境，在上面可以运行示例，但是缺少了编译的过程。要了解里面的运行过程，需要编译代码在上面成功运行，才能进一步了解。记录一下如何编译运行实例。
首先，安装SBT（simple build tool）。
参考（http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html）
我的环境是在CentOS上
a． 下载jar包（http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html）,将该jar包放在/root/bin/目录下。
b． 创建文件 /root/bin/sbt 在文件中输入下面两行
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
c． 给/root/bin/sbt增加可执行的权限 chmod u+x /root/bin/sbt
d．
首先，安装SBT（simple build tool）。
参考（http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html）
我的环境是在CentOS上
a． 下载jar包（http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html）,将该jar包放在/root/bin/目录下。
b． 创建文件 /root/bin/sbt 在文件中输入下面两行
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
c． 给/root/bin/sbt增加可执行的权限 chmod u+x /root/bin/sbt
d．
最低0.47元/天 解锁文章
扫一扫
4208
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
