知了堂|数据中台数据架构示例

1 技术架构

目前各政府机构和企业的信息化平台数据按结构类型主要分为三种，分别是：结构化数据、非结构化数据、半结构化数据三大类；结构化数据存储在关系型数据库中；非结构化数据主要包括音视频、图片、文档等，通过分布式文件系统在数据库进行统一管理；半结构

化数据是结构化数据的一种形式，但它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层，例如：日志文件、XML 文档、JSON 文档、Email 等。建设数据中台的过程中，这三类数据都会做为数据源出现，因此数据中台要能够妥善的处理这三种类型的数据。

数字中台基于数据资源多样性的特点和能够高效支持业务的目标，结合设计规划方法论、原则和规划思路，统一数据资源体系规划建设大数据采集感知体系、数据资源融合体系和信息共享服务体系，将数据安全和数据标准融入三大体系之中，通过智能演进不断提升数据接入、处理、组织、挖掘、治理和服务的能力，不断丰富和完善数据中台。

数据中台主要包函：数据统一采集接入平台、数据集中处理平台、数据组织管理平台、数据组织管理平台、数据全域治理平台、数据融合共享平台、数据分析挖掘平台、知识图谱平台、统一管理平台、数据可视化平台等多个平台系统。

2 层次架构

基于数据资源的需求分析和愿景目标，结合设计规划方法论、原则和规划思路，统一数据资源体系规划建设大数据采集感知体系、数据资源融合体系和信息共享服务体系，将数据安全和数据标准融入三大体系之中，通过智能演进不断提升数据接入、处理、组织、挖掘、治理和服务的能力，不断丰富和完善数据中台。数据资源总体架构图

如下所示：

3 逻 辑 架 构

统一数据资源体系的规划建设是数据建设的核心，承载着高效使用底层平台能力进行海量数据的动态感知采集和接入、标准化和智能化处理、精细化组织、全维度融合、精准可控的共享服务、多手段集成安全等关键责任和重任。为实现上述目标，统一数据资源体系规划了三大体系：大数据感知采集体系、数据资源融合体系以及数据共享服务体系。系统功能设计上，主要包含：数据接入、数据处理、数据组织、数据挖掘和数据治理、数据共享服务。各个模块的功能构成如下:

4 数据架构

数据中台数据架构是针对多源异构的数据场景，在数据组织层面为数据的接入、融合及智能数据应用服务等提供稳定、高效的支撑。从数据的接入方式、存储方式、加工方式、使用方式等方面综合考虑，资源库是在原始库的基础上进行数据的规范化治理及基于数据主题的整合；主题库是以原始数据、资源数据为基础，构件实体关系模型，并在此基础上形成的知识图谱和事理图谱等；业务库是为了支撑不同业务场景所定义的相关数据结构。知识库是专业领域或与专业领域相关的特征知识数据和规则方法集合。此外还包括整合数据索引信息的统一索引库；记录了本平台及与平台相关的数据的属性、位置、数据量、权限等基本信息的数据资源目录；记录了技术元数据、业务元数据、管理元数据的元数据库；以及为交互分析挖掘规划的数据实验空间和记录平台相关管理配置信息的管理信息库。数据架构图如下：