spark-jobserver部署配置

环境：centos7.1  需要sbt（0.13.X版本）环境  git

官方文档：https://github.com/spark-jobserver/spark-jobserver

clone 源码进行编译

一、修改配置

进入/spark-jobserver/config 目录下执行：

cp local.conf.template local.conf

cp local.sh.template local.sh

①编辑 local.conf 文件

一般参数修改如下：

 

将默认H2数据库修改数据库为mysql（官方建议为mysql或PostgreSQL ）

$ mysql -u root -p

# create a database user and a database for spark jobserver:

mysql> CREATE USER 'jobserver'@'localhost' IDENTIFIED BY 'secret';

mysql> CREATE DATABASE spark_jobserver;

mysql> GRANT ALL ON spark_jobserver.* TO 'jobserver'@'localhost';

Mysql>grant all privileges on *.* to 'jobserver'@'%' identified by 'Fin*tech111' with grant option;

mysql> FLUSH PRIVILEGES;

CTRL-D -> logout from mysql

 

local.conf中数据库配置改为如下：

 

在根配置层加入flyway.locations="db/mysql/migration"  配置

 

②修改local.sh 配置文件

 

 

2.修改/spark-jobserver/job-server/target/scala-2.11/classes  下application.conf配置文件

  找到 max-jobs-per-context =8 将值修改为合适值，此参数表示一个context能接受的最多job数量。

 

3.修改/home/jobserver8.0-2018/spark-jobserver/job-server/src/main/scala/spark/jobserver下的JobManagerActor.scala文件中的val daoAskTimeout = Timeout(3 seconds)改为120s 长一些。

 

二、打包、部署

进入clone源码根目录（spark-jobserver）下执行sbt package 进行编译打包。

在spark-jobserver目录下执行bin/server_deploy.sh local 将spark-jobserver部署到目标机器。