Spark jobServer搭建+提交作业执行

最新推荐文章于 2022-03-18 17:54:30 发布

Nougats

最新推荐文章于 2022-03-18 17:54:30 发布

阅读量2.5k

点赞数 1

分类专栏： spark 文章标签： spark scala

本文链接：https://blog.csdn.net/Nougats/article/details/75331343

版权

本文详细介绍了如何搭建Spark JobServer，包括安装Scala、部署sbt、配置环境变量，以及两种方式提交WordCount作业执行：临时context和常驻context。在临时context中，作业完成后上下文被删除；而在常驻context中，上下文始终保持运行状态，适合多次执行任务。

摘要由CSDN通过智能技术生成

安装scala

根据spark版本，在官网下载对应的unix版tar文件
配置环境变量

export PATH="$PATH:/usr/scala-2.10.6/bin"

立即生效命令

source /etc/profile

部署sbt

配置环境变量

export PATH="$PATH:/usr/sbt/"

建立启动sbt的脚本文件
在sbt目录下，创建sbt文件

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /usr/sbt/bin/sbt-launch.jar "$@"

查看sbt版本，第一次启动会自动下载文件