数据中台参考架构

1. 计算存储引擎
计算存储引擎是平台的核心组件，所有的数据计算和存储都在这个组件中完成。当前
平台采用的数据计算和存储引擎是基于大数据技术的计算存储引擎。
2. 数据开发平台
传统的开源大数据计算存储引擎开发效率低，开发复杂度高，合格的开发人员数量
少，价格高。这些因素制约了企业对数据的应用进度，数据开发平台可以有效地提升开发
效率，降低开发的复杂度和难度。数据开发平台包括离线开发套件和实时开发套件。离线
开发套件是支撑数据离线开发的套件，通常计算前一天的数据，即T+1数据。实时开发套
件是支持数据实时计算的开发套件。
3. 数据科学平台
机器学习算法、深度学习算法等算法内容在算法层面已经相对稳定，我们所接触的算
法开发绝大多数是算法应用层面的使用和开发。数据科学平台能够帮助数据开发人员快速
使用多种科学算法，加速算法开发过程。
4. 数据资产平台
数据资产平台包括数据资产管理套件和数据质量管理套件。
数据资产管理套件让数据平台使用者能够清晰地了解企业的数据资产情况，快速地实
现资产查看、管理功能。
企业可以使用数据质量管理套件快捷地设置各种数据质量检测公式，在设定条件下对
数据质量进行全面的检测和监控，对数据质量问题进行及时处理。
5. 数据服务引擎
1）数据应用规划产品
数据应用规划产品是支撑企业数据化规划的工具，可以实现在线规划、成果可视化，
为企业数据化指明发展方向，让企业的各个部门、各条业务线对数据化有清晰的认知。
2）数据共享服务平台
数据共享服务平台可以快速生成数据API，统一管理API服务，帮助企业提高数据服务
发布效率，提升数据服务管理能力和对数据服务使用的权限管理能力。
3）数据分析引擎产品
数据分析引擎产品可以实现海量级数据秒级查询，满足大数据实时分析需求。未来的
数据应用将是多个层次的，除了日常报表，数据分析师将会经常使用数据分析引擎产品分
析业务，发现问题。
4）标签引擎产品
标签引擎产品是实体画像工具，对实体进行画像和打标签，支撑业务端对实体的圈选
和使用。在传统的基于数据开发进行标签计算的基础上，标签引擎产品可以为业务人员提
供实体标签的操作平台，让业务人员使用标签，创建标签，优化标签。