自研大数据分析平台任务提交方式

   大部分有实力的公司大数据平台发展到一定阶段,都会想着在大数据平台上做一层整合开发一个统一的对外服务平台,降低用户的使用门槛,提高开发效率。要做一个大数据服务平台对平台研发人员的能力有着较高的要求,目前这块做的好的都是一些大厂。今天我们简单谈下自研大数据分析平台任务提交方式:

1. 使用服务自带的shell 命令提交。这是大多数项目使用的方法,简单,高效,大数据平台软件升级自兼容。开源项目有:azkaban

 2. 使用yarn client api 提交。大数据服务基本都支持在yarn上调度,很多公司都是基于yarn运行任务,门槛比1要高些,需要深入理解yarn api。athenax就是基于yarn api提交任务

 3. 使用大数据服务原生代码提交,直接使用shell 命令所调用的java类执行。开源项目:oozie。 oozie是直接将相关支持的服务源码直接编译打包进来,提交任务时直接调用的原生类。

 4. 使用开源的第三方服务或自研的服务提交。 开源项目:livy。可以使用http协议向集群提交spark任务。

  自研系统明确提交方式只是其中一部分,当选择一种提交方式时,你可能还要考虑,执行用户,权限,安全认证等因素。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值