数据建模及可视化解决方案

一、需求背景

1. 数据量的爆炸性增长：随着互联网和物联网技术的发展，我们正处于一个数据爆炸的时代。企业和组织需要有效地管理和利用这些海量数据，而数据建模平台可以帮助他们实现这一目标。

2. 数据多样性和复杂性：数据来源的多样化和复杂性使得数据管理和分析变得更加困难。数据建模平台可以提供一套统一的工具和方法，帮助企业应对这些挑战。

3. 数据驱动决策的需求：在竞争激烈的市场环境中，企业需要基于数据做出决策。数据建模平台可以帮助企业提取有价值的信息，支持数据驱动的决策过程。

4. 数据安全和隐私保护：数据安全和隐私保护是企业面临的重要问题。数据建模平台需要考虑到这些因素，提供安全的数据处理和分析功能。

5. 人工智能和机器学习的发展：人工智能和机器学习技术的发展为数据建模提供了新的可能性。数据建模平台需要整合这些新技术，提供更强大的数据分析功能。

6、数据建模的应用非常广泛，包括金融、医疗、零售、交通、教育、科研等多个领域。例如，在金融领域，数据建模可以用于信用评分、股票价格预测等；在医疗领域，数据建模可以用于疾病诊断、药物研发等；在零售领域，数据建模可以用于销售预测、库存管理、客户细分等。

二、产品简介

数合建模是数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。

三、我们的方案

（一）产品亮点

易用性方面：通过可视化拖拽数据、算子图标的方式，就可以完成业务模型设计和数据分析工作，降低了技术门槛，大大提升了工作效率。

产品定位方面：既可以作为数据工程师降低门槛的数据建模平台，也可以作为业务人员进行数据分析的业务建模平台。产品的设计初衷即是去技术属性，让大多数的业务人员都能用起来。

性能方面：实时碰撞秒级响应。

后端适配方面：平台后端支持对接各类主流数据库，以及华为大数据平台。

数据接入及推送方面：适配多种类型数据库的数据抽取和数据推送。

权限方面：支持多用户，并分级权限管理，对原始数据、成果数据、算法模型和微应用提供分类管控。

数据挖掘业务方面：支持海量数据挖掘分析碰撞，支持9种主流智能分析算法。

AI大模型与BI结合的探索:通过输入文本，组织后台数据，生成指标查询结果集。

图谱应用方面：支持自定义实体、关系，建立知识体系并能挖掘知识的隐含关系，服务具体应用场景。

可视化图表设计方面：通过拖拽图表模版，设置数据来源，两步生成可视化图表。

（二）产品技术架构

1、基础支撑层：指围绕平台运行的软硬件环境，虚拟化环境，分布式大数据平台环境，数据库环境等等。

2、数据计算层：包括离线计算、实时计算、流计算、图计算等。

3、数据管理层：包括数据源管理、接入方式探查、数据接入、数据标准化、任务中心、数据目录、服务目录7部分内容，其中：

数据源管理提供数据源配置管理等功能；

接入方式探查对各来源的数据进行探查，包括：数据源、 业务信息、更新策略、字段信息以及质量信息；

数据接入，结合数据实际情况定制数据接入策略和标准。系统对元数据信息进行自动采集；

数据标准化，将数据与标准规范比对，标准化处理接入的数据。根据标准制定数据清洗、格式转换策略；

任务中心，数据接入、标准化任务管理中心，包括任务规则的查看、任务的启停、任务立即执行、规则修改等功能；

数据目录，提供数据接入、标准化资源的查看、检索功能

服务目录，提供服务目录的注册、数据资源申请审批、服务测试等功能

4、数据分析层包括目录管理、模型管理、算子管理、图谱管理、可视化建模五部分。其中：

目录管理，提供模型、标签、组件、看板目录管理功能；

模型管理，提供模型搜索、新建模型、编辑模型、删除模型、共享模型、共享标签、设为任务等功能；

算子管理，提供数据处理算子、智能算子、业务算子(数据标签)等功能；

图谱管理，提供实体管理、关系管理、关系入图等功能；

可视化建模，提供数据关联、筛选、并集、差集、交集、分组等可视化建模编辑工具，用户可依据建模需求进行灵活组合、构建模型。

5、数据服务层：包括应用超市、微应用服务和可视化图表。其中：

数据应用超市，提供数据模型的展示与分享。

微应用服务，提供应用模块化功能，将模型结果以API接口形式封装，提供给上层应用平台

可视化图表，提供图形化软件，可自由拖拽生成可视化面板，并进行数据展示等。支持可视化大屏发布。

（三）产品定位

1、单纯作为数据建模平台

以上示意图，描述了在一个项目中建模平台和上、下游的关系。

上游由ETL厂商将业务系统数据抽取/同步到大数据平台的接入层。
 数据建模环节的内容主要包括数据配置，数据建模、任务管理三部分。通过系统初始化工作将接入层数据库配置到数据建模平台；利用接入层数据及各类算子构建汇总模型、指标模型、风险模型等各类模型；并通过任务配置，定期生成各类模型结果，自动封装JSON格式的API接口服务。

应用厂商对接基于数据模型结果的API接口服务，进行上层应用的展现。

2、同时承担数据治理和数据建模的角色

以上示意图，描述了在一个项目中建模平台和上、下游的关系。

上游为源数据库，存储业务系统数据。建模平台同时承担数据治理和数据建模的角色。

先由数据管理平台按一定策略将数据抽到接入层，再基于标准化要求，及本地的知识库，以及数据的清洗规则和格转要求定义标准化规则，完成从接入层到标准层的计算，通过任务中心来管理和监控任务运行情况。
    数据建模环节的内容主要包括数据配置，数据建模、任务管理三部分。通过系统初始化工作将标准层数据库配置到数据建模平台；利用接入层数据及各类算子构建汇总模型、指标模型、风险模型等各类模型；并通过任务配置，定期生成各类模型结果，自动封装JSON格式的API接口服务。

应用厂商对接基于数据模型结果的API接口服务，进行上层应用的展现。

总结：建模平台既可以承担从数据治理、到建模、到应用展示全数据生命周期的角色，也可以承担单一角色，但无疑建模能力是建模平台的核心。建模平台标配的数据管理平台在数据标准化上起重要作用，能够大大提升后续建模的效率。

（四）产品功能架构

数合建模主要由数据管理、目录管理、模型管理、图谱管理、可视化图表管理、系统管理和配置管理7部分组成。具体如图所示：

（五）产品功能清单

序号	产品名称	一级目录	二级目录	三级目录	功能描述	是否必选
1	数合建模	数据管理	数据标准	数据元管理	标准数据元、自有数据元查询，体现数据包含哪些不重复的数据项	否
2				限定词管理	标准限定词、自有限定词查询，修饰数据元	否
3				字典管理	字典知识库，体现系统有多少个可转换的字典表	否
4			数据治理	接入方式探查	支持mysql\oracle\postgres\gaussdb等数据库，源端数据结构采集	否
5				数据接入	stg层数据抽取策略及表结构配置	否
6				数据标准化	ods层数据抽取策略、表结构、以及元数据库、字典、清洗规则等标准化元素配置等功能	否
7				任务中心	支持批量任务开始、停止，支持单个任务列表查询、任务规则查询、开始、停止，支持单个任务规则查询，支持单个任务规则修改、结构修改，支持立即执行单个任务、并查看运行进度	否
8			数据资产	数据资源目录	包括数据清单查询、数据项查询等功能	否
9				数据报表	数据更新情况查询	否
10			数据开放	<