源码分享-基于Spring Boot为美柚大数据研发的大数据任务调度平台

此项目为美柚大数据研发的大数据任务调度平台，提供Spark、Flink等离线任务的调度以及实时任务的监控，并具有批次积压报警、任务异常重启、重复应用监测、大内存应用监测等功能。

Big Whale - 任务调度平台

Big Whale（巨鲸），为美柚大数据研发的大数据任务调度平台，提供Spark、Flink等离线任务的调度以及实时任务的监控，并具有批次积压报警、任务异常重启、重复应用监测、大内存应用监测等功能。 服务基于Spring Boot 2.0开发，部署方便，功能强大，打包后即可运行。

部署

1.准备

• Java 1.8+
• Mysql 5.1.0+
• 下载项目或git clone项目
• 为解决 github README.md 图片无法正常加载的问题，请在hosts文件中加入相关域名解析规则

2.安装

• 创建数据库：big-whale
• 运行数据库脚本：big_whale_tables_mysql.sql
• 根据Spring Boot环境，配置相关数据库账号密码，以及SMTP信息
• 配置：big-whale.properties配置项说明ssh.user: 拥有脚本执行权限的ssh用户（平台会使用该用户作为统一的脚本执行用户）ssh.password: 拥有脚本执行权限的ssh用户密码dingding.enabled: 是否开启钉钉告警dingding.watcher-token: 钉钉公共群机器人Tokenyarn.app-memory-threshold: Yarn