金融机构的数据中台-恒生电子

1. 数据中台的起源
2. 数据中台的定义和作用
3. 数据中台、数据仓库和数据平台的区别
4. 数据中台的分层
5. 金融机构为什么要建立数据中台？
6. 智慧金融的新基础设施-数据中台
7. 金融机构如何建立数据中台？
8. 金融机构数据中台的整体架构图
9. 总结

---

一、数据中台的起源

数据中台的概念最早是阿里巴巴提出的，是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题，而在技术、组织、架构等方面采取的一些变革，其本质上还是一个平台。阿里
称之为“共享服务平台（SPAS）”。2015年，阿里巴巴启动中台战略，目标是构建符合互联网大数据时代的，具有创新性、灵活性的“大中台，小前台”的机制。2018年，数据中台受到业界广泛关注。

二、数据中台的定义与作用

所谓的数据中台，即实现数据的分层与水平解耦，沉淀公共的数据能力。通俗讲，数据中台就是提取各个业务的数据，统一标准和口径，通过数据计算和加工为用户提供数据服务。

三、数据中台、数据仓库和数据平台区别

四、数据中台的分层

数据模型：本层可再分为3层：基础模型、融合模型和挖掘模型。基础模型作用：主要实现数据的标准化；融合模型一般是维度建模，主要实现跨越数据的整合；挖掘模型偏应用。
数据服务：将数据模型按照应用要求做服务封装，构成数据服务，它和业务中台的服务概念完全相同，只是数据封装比功能封装更难。
数据开发：数据开发是数据中台的最后一层，主要是为了满足前端的个性化要求。按照开发难度可将数据开发层再分为3个层次，排序由简到难：提供标签库（DMP）→提供数据开发平台→提供应用环境和组件。
具体讲解可参考原文：数据中台到底是什么？

五、金融机构为什么要建立数据中台？

当下，金融行业面临转型升级，我们已经步入了智能化的金融科技3.0时代。智能化时代以客户中心为基础，以人工智能、大数据、云计算、区块链等技术驱动，并深度融合金融，从而提供更为普惠的金融服务。

恒生电子认为，数据中台是智慧金融的新基础设施，其核心定位是通过数据资产化、数据标准化、数据服务化、数据智能化，让数据产生价值。建设数据中台，不仅有助于支持前端业务的快速迭代、跨系统的相互协作，还有利于数据分析应用能力的专业化。

六、智慧金融的新基础设施-数据中台

金融机构的数据分为两处，一处是数据仓库，来源于业务系统的数据中心；第二处是资讯数据中心，数据主要来源于外部。实际场景中，两大中心的数据会通过机构、人、产品，紧紧联系在一起。在两大中心（数仓和资讯中心）
之间，有个关联，关联中有两个重要的工具-用户画像和企业画像。

构建用户画像的主流方法有4种：1、基于数据统计；2、基于规则定义；3、基于聚类；4、基于主题模型。“标签体系”方法是构建用户画像的核心方法论。

如何构建企业画像：资讯中心中存在重要数据是描述投资标的企业的，如果该部分数据可以将企业描述清楚，会对金融机构下游的核心业务起到很好的支撑。构建企业画像的过程中会用到很多AI技术。
企业画像中，为形成一个相对完备的企业画像，需要关联不同类的数据，比如：工商数据、公司数据、产业链数据和金融机构研发人员调研、分析到的信息等。那么，具体进行关联时会涉及知识图谱、图数据库等。关联之后就可以查到围绕这家公司有哪些信息，有没有违约，类似企业的“情报系统”。注意，企业画像不是静态的，它是一个动态的、持续发展的过程。特别是金融领域的很多数据，都是随着时间变化的。

七、金融机构如何建立数据中台？

从数据的角度看，大致分为三个步骤：
①数据资产化【聚合协同】
理清金融机构自身的数据资产。金融机构的数据资产主要两部分，一是机构内部数据，这部分数据容易梳理；另一部分是由不同业务部门引进的外部数据。这部分数据较难梳理，原因：存于不同业务部门、来源复杂，且数据量较大。
②数据标准化【一致稳定】
梳理好机构内的数据资产后，那么如何使用这些数据资产呢？首先，需要对数据的标准、口径等进行统一。金融机构常见制定数据标准的方法：资产地图和资产目录。制定数据标准是数据治理过程中极为重要的一环，尤其是在金融机构。原因：金融机构对于数据口径统一等负有相关法律责任。金融机构需要向两方报送、披露数据。一是监管机构，二是公众。制定数据标准过程类似于制定API规范，要求：稳定、符合最小化原则等。
③ 数据服务化【专业高效】
金融机构完成数据资产梳理、口径、标准制定后，就可以向相关部门提供数据服务啦。传统的数据服务方式，比如数据仓库，当下游公司或部门提出取数需求时，数仓这边会告诉他们所需的表结构，让他们自己直接连上来取数。但是这样存在严重问题：数据中心的表暴露给了多少对象？有多少下游应用与你相关？中间过程难以控制。解决方式：中间增加数据服务层，以API、微服务的形式提供服务，从而实现对使用对象、频率的控制。中间也会用到一些工具，比如舆情检测、知识图谱等。

舆情监测
定义：互联网舆情监控系统依托搜索引擎技术和文本挖掘技术，通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析，实现各单位对自己相关网络舆情监督管理的需要，最终形成舆情简报、舆情专报、分析报告、移动快报，为决策层全面掌握舆情动态，做出正确舆论引导，提供分析依据。-百度百科
很多公司都在建设舆情监控系统。获取大量的舆情信息后，可使用NLP/智能文本处理技术处理。

知识图谱，实际它的技术底层有2种，一个是图数据库，即图的存储；另一个是图的分析。数据分析最重要的是关联。要把数据关联起来才能做更多的分析。图数据库擅长。

针对实际情况，一般金融机构都已经建好自己的数仓，但是大量非结构化的数据进来，数据量的增多，金融机构需要建立起新的基础设施，对原来的技术平台也需要做相应升级。数据中台会应用更多的数据挖掘、数据分析和AI等技术。

八、金融机构数据中台的整体架构图

金融机构搭建好自己的数据平台后，还会经历一下几个步骤：
数据采集–数据治理–分析、计算–价值挖掘–面向服务数据

其中，对于数据采集/收集，金融机构的核心系统很多，关键系统就有三四十套，有时候还包括同一类业务系统交给两家厂商去建设，或者同一类业务根据客户属性不同建设不同的系统。为完成数据收集，就需要将核心业务系统对接的能力。其实该过程会耗费大量人力。

九、总结

在做金融行业数据中台时，内部分两层：偏技术和偏业务。偏技术人员做数据的基本处理，比如打个标签、关到图数据库里取，这对业务的要求貌似不高，对技术基础的要求会高一点。数据结构化后，业务人员接着处理。比如，有些财务分析的模型。总之，金融工程人员做上层的模型，支撑下游场景。

总结而言，底层是数据中台的技术平台，要管理数据，做相应的数据开发，对外提供服务，构建相应的AI能力，搭建AI工具平台。有了这个工具平台之后，帮助金融机构构建各种各样的数据中心，包括业务数据中心和资讯数据中心，也会根据上游的场景分阶段建立，原来的应用可以逐步迁移到新的数据中台的架构上来。在没有数据中台之前，整个金融行业大家对数据也是非常重视的，有大量的应用在用。建数据中台之后，不能简单地把老的应用铲掉，全部重新来过，所以需要有一个把大量的下游应用进行平滑迁移的升级方案。

---

转载来源：

1. https://mp.weixin.qq.com/s/g22ueinMvwDvu5hpt03wJQ
2. 数据中台到底是什么？- https://www.jianshu.com/p/f8a7c33709b3
3. 关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析-https://blog.csdn.net/u012548562/article/details/103910938
4. 智慧金融新基础设施：数据中台的金融应用与实践 | 雷锋网公开课 -
   https://v.qq.com/x/page/y0944c0flp1.html