关闭

Spark JobServer 安装使用

2581人阅读 评论(0) 收藏 举报
分类:

sparkJobSever启动是会常驻一个SparkSubmit进程,我们在创建context上下文的时候可以引起这个进程因此不用手动提交Job

1.本文主要介绍spark job sever的调度

  (1)  创建一个context

curl -d "" 'localhost:8090/contexts/test-context?num-cpu-cores=4&memory-per-node=512m'
以上的Post请求也可 http://localhost:8090/contexts/test-context (postman模拟)

  (2).上传jar包到Job-Server

    

curl --data-binary @/Users/Desktop/SparkTest.jar localhost:8090/jars/sparkTest
 *localhost:8090/jars/appName   上传jar需要给一个别名

(3)调用jar

curl -d "input.string = a b c a b see" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample&context=test-context&sync=true'

{

  "result": {

    "a": 2,

    "b": 2,

    "c": 1,

    "see": 1

  }

}



2.关于spark job sever的安装可以参考Github的使用

https://github.com/spark-jobserver/spark-jobserver/blob/master/doc/chinese/job-server.md


  部署的两种方式

  • server_deploy.sh deploys job server to a directory on a remote host.
  • server_package.sh deploys job server to a local directory, from which you can deploy the directory, or create a .tar.gz for Mesos or YARN deployment.


(1).conf/local.sh.template 文件到 local.sh 并修改路径下的Spark_Home参数根据本机的环境来



(2).config/local.conf.template 到 <environment>.conf

  修改home参数$SPARK_HOME



(3). bin/server_package.sh local  执行打包命令


0
0
查看评论

spark-jobserver安装文档

  • 2016-09-06 11:04
  • 627KB
  • 下载

Spark JobServer 安装使用

1.本文主要介绍spark job sever的调度 2.关于spark job sever的安装可以参考Github的使用
  • UnionIBM
  • UnionIBM
  • 2016-08-31 14:16
  • 2581

Spark JobServer实例以及上传运行

Spark JobServer实例以及上传运行
  • huyulin233
  • huyulin233
  • 2017-07-18 21:29
  • 206

spark-job-server

spark rest api包括: livy: http://livy.io/index.html spark-job-server: https://github.com/spark-jobserver/spark-jobserver spark运行在yarn上,查看运行进度: &g...
  • zhangweijiqn
  • zhangweijiqn
  • 2016-11-17 15:23
  • 3276

spark job server原理

spark job server原理配置相关 settings.sh 功能:配置环境变量 APP_USER/APP_GROUP:作业提交用户和组 JMX_PORT:java jmx端口,通常在aws或者其他容器里打开 INSTALL_DIR:sjs所做目录 LOG_DIR:日志路径 PIDFILE...
  • zhaorongsheng
  • zhaorongsheng
  • 2017-06-07 20:03
  • 778

Spark jobServer搭建+提交作业执行

安装scala根据spark版本,在官网下载对应的unix版tar文件 配置环境变量export PATH="$PATH:/usr/scala-2.10.6/bin"立即生效命令source /etc/profile部署sbt配置环境变量export PATH="$P...
  • Nougats
  • Nougats
  • 2017-07-18 22:53
  • 664

安装与使用 Spark-jobServer

Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts。这个项目包含了完整的 Spark job server 的项目,包括单元测试和项目部署脚本。 特性 “Spark as Service”...
  • u010159842
  • u010159842
  • 2017-06-21 17:13
  • 659

「·部署·」安装与使用 Spark-jobServer

Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts。这个项目包含了完整的 Spark job server 的项目,包括单元测试和项目部署脚本。 特性 “Spark as Service”...
  • lovebyz
  • lovebyz
  • 2017-04-06 17:33
  • 1443

Spark与Job Server整合原理与实战

11.3   Spark与Job Server整合原理与实战 11.3.1Spark与Job Server整合原理     Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job ...
  • duan_zhihua
  • duan_zhihua
  • 2017-06-25 17:38
  • 742

Spark as a Service之JobServer部署

续上一篇Spark as a Service之jobServer部署使用开发者模式来测试,本文正式部署并使用jobserver,当前版本有很多BUG和不完善的地方,期待后续的版本修复。 部署 复制config/local.sh.template到local.sh ,并且设置相关参数。 ...
  • caoli98033
  • caoli98033
  • 2015-03-13 18:45
  • 1359
    个人资料
    • 访问:60581次
    • 积分:1272
    • 等级:
    • 排名:千里之外
    • 原创:67篇
    • 转载:3篇
    • 译文:1篇
    • 评论:1条
    文章分类
    最新评论