如何复用ETL的数据处理功能进行定制化服务开发（一）

如何复用ETL的数据处理功能进行定制化服务开发（一）

简介

众所周知，ETL是为数据报表而生，而报表往往是为领导层做决策提供数据支撑。面向领导编程往往是最能体现工作能力的。如何打造一个数据准确、实时性强的报表，就要求生成报表的数据抽取工具具有报表特性的所有功能。市面上的ETL工具比如kettle，阿里的，都具有……非常丰富的功能。然而，如此丰富的功能就仅仅为处理报表呢，近些年在人工智能的数据处理方面也有很大的用途。除了这些，还能在其他领域应用吗？比如：能不能应用在前端的业务场景呢？开放平台API接口能不能快速适配实现客户接入呢？

客户的需求是什么？

这里仅从我从事过的某大型电商企业的企业业务说起。企业业务一般是将电商能力赋能给企业客户。
主要是：
企业需要建立自己的内部商城，需要对接各种电商平台。
企业的接口标准与电商平台接口标准不一致。
企业适配电商平台的标准？
还是电商平台适配企业的标准？
往往是电商平台作出妥协，为企业提供定制化接口。
电商内部也存在一个标准接口对应多条业务线的需求，需要为每条
业务线提供定制接口问题。

如何提供定制化专属服务？

方案一
为每家企业创建独有的定制化应用，通过该应用为企业提供独有的定制化接口。
这样就会导致一下这些问题：
1，每家大型企业的接入都需要在标准接口的基础上派生出为该企业定制的接口。
2，新企业的接入，就会有很大的工作量产生，导致开发者怨声载道。
3，为每家企业开发的定制化接口都需要都要单独的服务上线。若企业的接口标准会经常进行变化，就需要配合企业进行接口修改。这样就会导致接口频繁修改，服务频繁上线。
4，开发周期长，客户体验差。
5，定制化的服务会越来越多，维护成本高。

方案二
通过一个定制化的服务平台，来为客户提供定制化接口服务；
该平台应具备以下功能：
1，支持热插拔服务。
通过上传文件来部署接口。部署服务极快。解决开发周期长的问题。
2，支持服务的可视化编辑。
服务通过可视化编辑，将各个企业的接口标准转换为电商平台的接口标准。
这就解决了开发者工作量大的问题。只需要编辑服务就能满足企业的需求。
3，服务接口需要支持企业的各种传参方式
如：form表单形式，xml形式，json形式,EDI形式（国际通用交易报文）
4，服务接口至少需要支持http，https协议，soap协议等。

初步设计

根据方案二进行初步的流程设计如下图：

网关模块：可以采用通用的网关服务，如springcloud，kong，阿里云网关等，不是本文的重点，请读者自行选型。
定制化模块：因要适应业务的快速迭代，该模块必须支持业务的热插拔，支持快速开发；支持不同协议间的转换；支持不同报文的转换。
标准服务：电商平台对外赋能的通用接口。

总结

本文介绍了如何快速进行定制化业务开发的入门知识，从客户的需求，解决方案，以及如何进行初步设计进行了介绍。下一篇文章将详细介绍技术选型及方案设计。