分布式批处理平台(wolf)简介

  “wolf”即狼,狼的适应性很强。可栖息范围包括苔原、草原、森林、荒漠、农田等多种生境;具有敏锐的观察力、专一的目标、默契的配合,它们总能依靠团体的力量达成目标。

      分布式批处理平台采用作业调度与作业执行分离的架构来简化业务系统批处理的开发和运维;采用中间件和平台化的思路提升其应用的范围及价值;用于java系统作业的调度、执行与管控。本平台正是以狼性为理念而设计的——多服务节点协同并行处理能力及运行环境的适用能力。

  分布式批处理平台采用作业调度与作业执行分离的架构来简化业务系统批处理的开发和运维,采用中间件和平台化的思路提升其应用的范围及价值;用于java系统作业的调度、执行与管控;解决大数据批处理的序列问题。主要由下面几个部分组成:

1、中间件基础组件、分布式批处理框架:此为作业执行环境,进行作业的具体业务处理,作业命令(如启动、停止、中断等)执行、失效处理等。

2、作业调度管控中心:提供界面化的作业管理、监控及作业的调度(手动、自动)。

3、协调注册中心:负责作业运行时的任务协调、作业元数据的存储服务,此为独立运行的中间件产品(sokeeper)。 

4、队列:分布式的消息队列,提供作业运行是的实时数据传输,如作业业务事件、日志等(此为可选部分,一期不提供)。

详情请参考《分布式批处理平台技术白皮书》:http://www.bingjava.org/1/wolf/20170107/178.html

转载于:https://www.cnblogs.com/bingjava/p/6266693.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值