基于大数据的能力开放平台解决方案

某企业经过多年的系统建设和演进，内部系统间存在一些壁垒，通过在运营商的各个内部系统,如经分、VGOP、大数据平台、集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度、封闭式开发、数据孤岛等系统问题，使得运营商营销能力和效率大大提高。

问题分析

背景分析

随着市场发展，传统的开发模式已经无法满足业务开发敏捷性的要求。伴随经营分析需求量激增，开发时限要求缩短，业务迭代优化需求频繁，原有的“工单-开发”模式平均开发周期为4.5 天，支撑负荷已达到极限。能力开放使业务人员可以更便捷的接触和使用到数据，释放业务部门的开发能力。

由于历史原因，业务支撑系统存在经分、VGOP、大数据平台、集团集市等多套独立的运维系统，缺乏统一的运维管理，造成系统与系统之间的数据交付复杂，无法最大化

的利用系统资源。统一调度的出现能够充分整合现有调度系统，减少运维工作量，提升维护质量。

驱动力一：程序调度管理混乱，系统资源使用不充分

经分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理，平台内程序基本是串行执行，以经分日处理为例，每日运行时间为20 个小时，已经严重影响到了指标的汇总展示。

驱动力二：传统开发模式响应慢，不能满足敏捷开发需求

大数据平台已成为一个数据宝库，已有趋势表明，只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需求，提升数据价值。

驱动力三：大数据平台丰富了经分的数据源，业务部门急待数据开放

某企业建立了面向企业内部所有部门的大数据平台，大数据平台整合了接入B域、O 域、互联网域数据，近100 余个数据接口，共计820T 的数据逐步投入生产。大数据平台增强了传统经分的数据处理的能力，成为公司重要的资产，但是传统经分数据仓库的用户主要面向业支内部人员，限制了数据的使用人员范围和数据的使用频度，已经无法满足公司日益发展的业务需求，数据的开放迫在眉睫。

问题详解

基于背景情况分析，我们认为主要问题有三个：

1、 缺乏统一的调度管理，维护效率低下

目前经分系统的日处理一般是使用SHELL 脚本开发的，按照串行调度的思路执行。进行能力开放后，目前的系统架构无法满足开发者提交的大量程序执行调度的运维需求。如果采用统一调度的设计思路则基于任务的数据表依赖进行任务解耦及调度，将大大简化调度配置工作和提高系统的并发度;

2、 需求周期长，导致开发周期长

现行的开发模式是由业务部门提出需求，业务支撑中心进行需求分析，然后再转派给开发厂商。厂商除了需要与业支沟通需求以外，有时候还需要与业务部门进行二次沟通，最终才能明确需求࿰