走好数据中台最后一公里,为什么说数据服务API是数据中台的标配?

原文链接:走好数据中台最后一公里,数据服务API是数据中台的标配

视频回顾:点击这里

课件获取:点击这里

一、数据服务API建设背景

在数字化转型的时代背景下,新需求的大量增长、新技术的不断迭代,“互联网化、数字化”进程的不断深入,越来越多的业务被迁移到互联网上,产生大量的业务交互和对外服务需求,对API接口的需求与日俱增,如何快速提升企业数据开放共享能力,是企业面临数字化转型的关键命题。

file

传统的方式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口,开发周期过长,运维成本太高,已经不能满足企业的需求。企业在数字化转型过程往往面临诸多难题:

file

为了更多的解决这些问题,我们在企业开放、共享数据过程中需要确定以下目标:

  • 快速构建 API

  • 系统稳定、数据安全

  • 易于集成使用

  • 授权交付

  • 低成本运维

file

二、数据服务平台建设方法论

在分享数据服务平台建设方法论之前,我们先了解一下常见的数据中台应用架构:

file

数据服务层作为数据中台整体应用架构中处于中间地位,将数据计算层的结果通过数据API的形式对外共享给数据应用层。数据服务层主要有3个作用:

1、当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费;

2、为了有更好的性能和体验,构建数据服务层,通过接口服务化方式对外提供数据服务;

3、满足应用各种复杂的数据服务需求(简单数据查询服务、复杂数据查询服务、实时数据推送)

而在数据服务层对外提供服务的过程中,经历了从“DWSOA”“OneService”的演变过程。

file

从“OneService”数据服务本身来说,主要是解决异构数据源、重复建设、审计运维困难、理解困难这4个问题,通过“OneService”服务,实现主题式数据服务、统一且多样化数据服务、跨源数据服务的服务目标。

因此,若想构建一个完整的数据服务平台,需要具备以下6个要素:

  • 便捷开发,具备低代码化的开发能力

  • 易于管理,API管理操作可视化查询API

  • 易于使用,具备规范化的文档描述信息

  • 安全稳定,服务调用追踪监控、服务使用审计、鉴权等

  • 易于运维,测试、纠查、问题规则配置

  • 性能,负载均衡、高并发

三、基于OneService构建数据体系

了解完“OneService”理论,接下来为大家分享如何基于OneService构建数据体系,主要遵循以下步骤:

file

● 第一步:API定义

API的定义包括:快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。

file

API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。

file

file

● 第二步:API发布

API的发布包括测试、提交至API网关、发布至API市场、版本管理这几个方面。

file

● 第三步:API调用

API调用包括数据预览、API申请、审批、下载接口文档、正式调用这几个方面。

file

● 第四步:调用监控

业务上:对API调用的统计数据进行深入的分析,进而得出关键信息;

技术上:通过API调用的统计图表进行分析可以发现,哪些API最受欢迎;而哪些几乎无人问津,应该被淘汰;

安全上:对调用IP、调用次数进行监控,对调用者进行溯源。

file

● 第五步:数据安全

数据安全包括:统一认证鉴权、传输加密、安全组、角色分配、行级权限、调用审批等。

file

上述的数据服务API的建设过程,其实正是袋鼠云自研的数栈数据服务EasyAPI产品的落地实践过程。

数据服务(EasyAPI),高效的企业级数据服务产品,通过双模式可视化配置生成与注册API,快速构建OneService数据共享服务,形成企业级的API市场和API服务管理平台,提高数据开放与共享效率。

file

同时产品具备以下特点:

  • 快速构建

配置即开发,支持0代码、低代码快速构建API

  • 安全性高

用户认证、监控、传输加密、API级别安全策略、行级权限、角色分配、调用申请审批、调用周期次数的限制、黑白名单

  • 灵活度高

“服务编排“可对不同的API进行组合,支持集成python进行数据处理、支持“条件判断”节点,选择符合条件的分支

  • 配置灵活

横向拓展API网关、缓存

  • 低成本运维

采用Serverless架构,只需关注API本身的业务逻辑,很少考虑运行环境等基础设施

四、API实施落地案例

接下来我们分享三个使用客户的实际案例,为大家介绍EasyAPI如何切实的帮助客户解决问题。

● 金融:某证券公司应用数据服务

file

● 学校:某大学应用数据服务

file

● 零售:某网络公司应用数据服务

file

原文来源:VX公众号“数栈研习社” 袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

  • 0
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据中台是指以数据为核心,通过数据采集、存储、处理、分析、挖掘等环节,为企业提供数据资产管理、数据服务、数据应用等方面的支持,帮助企业实现数据的高效管理和价值最大化的平台。 开展数据中台项目需要遵循以下步骤: 1. 建立数据管理团队:组建专门的数据管理团队,负责数据中台项目的规划、设计、开发和维护。 2. 制定数据治理策略:建立数据治理框架,明确数据标准、数据安全、数据质量等规范,确保数据的一致性、准确性和完整性。 3. 确定数据采集和存储方案:根据业务需求和数据特点,选择相应的数据采集和存储技术,包括数据仓库、数据湖等。 4. 实现数据集成和处理:通过 ETL 工具或者自定义编码实现数据的抽取、转换和加载,确保数据的及时性和准确性。 5. 开发数据服务和应用:基于数据中台,开发数据服务和应用,为企业提供数据支持,包括数据分析、数据挖掘、数据可视化等。 6. 建立数据共享和交换机制:通过 API、数据接口等方式,实现数据的共享和交换,促进信息的流通和共享。 7. 持续优化和完善:数据中台是一个持续完善和优化的过程,需要不断的跟进数据的变化和业务的需求,及时调整和优化数据中台的架构和服务。 需要注意的是,数据中台项目是一个复杂的系统工程,需要充分考虑业务需求、技术选型、数据安全等因素,确保项目的成功实施和运营。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值