阿里云AnalyticDB Mysql集成Spark调度

声明一点：没有收广告费，没有打广告的意思。好处是不用自建和维护，适合小团队云开发使用，当然大团队建议还是自建最好。。。

一、首先开通adb，首次开通可以1块钱使用一个月

创建账号，设置白名单后开始使用

点击数据库管理进入页面

 

二、接着开通云原生数据湖分析（DLA，按需收费），里面集成spark开发调度

 

任务编排及调度（需登录adb的DMS管理界面）；在这里编排调度任务

 

执行完成后，在作业管理页面看任务状态及日志

 

上面是测试样例（自建项目可以打包上传，接着开通oss，用于上传项目的jar包）

 

在本地开发spark，然后打包上传到OSS路径

 

配置任务

 

运行完成后在作业管理界面查看日志

 

spark 程序查询 adb库（注意内外网及白名单设置）

 

 

配置定时调度：

 

至此，基于阿里云的spark集群及任务调度就完成了。

对于小团队来说，自建集群和开发维护难度和成本不小；相对规模或者数据比较敏感的公司，自建就比较好。