声明一点:没有收广告费,没有打广告的意思。好处是不用自建和维护,适合小团队云开发使用,当然大团队建议还是自建最好。。。
一、首先开通adb,首次开通可以1块钱使用一个月
创建账号,设置白名单后开始使用
点击数据库管理进入页面
二、接着开通云原生数据湖分析(DLA,按需收费),里面集成spark开发调度
任务编排及调度(需登录adb的DMS管理界面);在这里编排调度任务
执行完成后,在作业管理页面看任务状态及日志
上面是测试样例(自建项目可以打包上传,接着开通oss,用于上传项目的jar包)
在本地开发spark,然后打包上传到OSS路径
配置任务
运行完成后在作业管理界面查看日志
spark 程序查询 adb库(注意内外网及白名单设置)
配置定时调度:
至此,基于阿里云的spark集群及任务调度就完成了。
对于小团队来说,自建集群和开发维护难度和成本不小;相对规模或者数据比较敏感的公司,自建就比较好。