海盒数据共享交换服务平台SDX3.0产品版本发布详解

产品名称 海盒数据共享交换服务平台 SDX
版本号 3.0
产品发布时间 2024-11-27
产品描述 海盒数据共享交换服务平台（SDX）基于资源目录实现数据需求方与所有方之间多层级、跨地域、跨部门的企业级数据交换网络，提供多种数据共享交换方式，包括库表交换、文件交换、API交换方式，并打通数据标准、数据质量、模型设计、元数据等模块与数据开发过程进行结合，将业务价值落在实际开发过程中，同时提供快速将数据表生成数据API的能力，打造让API开发零门槛的企业级API产品，满足了多方多场景的业务需求。
SDX一站式提供数据交换（库表/文件/API、实时离线、全量增量）、数据处理 （元数据管理、数据标准管理、数据质量管理、数据模型、指标加工、数据清洗、数据融合、数据质检、数据加工、SQL代码自动生成）、可视化ETL（拖拽组件、低代码）、数据服务（服务编排、API自动生成、API全生命周期管理）、资源目录（一目录三清单、上传、下载、订阅、推送、目录管理）、数据开放（资源检索、资源查看、资源获取）和数据安全（加密脱敏、分级分类、审计日志、身份认证、访问控制）等能力。
海盒数据共享交换服务平台（SDX）是一个强大的工具，旨在促进企业级数据交换网络的建设和发展。为企业提供了一个全面、高效、安全的数据交换和共享平台。这不仅加速了数据的流通和利用，还降低了数据开发和管理的复杂性，从而帮助企业更好地实现业务价值。

升级说明 1、新增数据处理模块：
数据处理是对数据的采集、存储、检索、加工、变换和传输的过程，其基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
1）新增数据质检功能：数据质检，即数据质量检查，是确保数据准确性、完整性、一致性和可靠性的重要过程。提供数据标准制定（包含基础标准、数据字典、标准文档），数据质量检测（包含质量规则库管理、质检任务管理）
2）新增数据加工功能：数据加工包含数据模型、数据清洗和数据融合三个部分。数据模型支持创建板块并进行数仓规划，创建概念模型，逻辑模型，数据指标；数据清洗支持对清洗规则库进行查看和自定义规则，并可创建清洗映射任务。数据加工是一个综合性的工作，涉及多个关键步骤和技术。通过有效的数据加工，企业可以更好地利用数据资源，提升业务决策的质量和效率。
3）新增数据处理任务调度：提供质检和加工等任务统一调度、监控等功能
4）新增seabox-DV客户端：提供数据库管理工具seabox-DV客户端及相关文档下载
2、新增可视化ETL模块
可视化ETL是一种通过图形界面来设计和执行ETL流程的方法，‌旨在简化数据抽取、‌转换和加载的过程‌。‌
ETL开发是负责设计并执行ETL流程，‌以确保数据从来源到目标端的准确、‌高效传输与转换的开发工作。‌
可视化ETL工具允许用户通过拖拽组件、‌配置参数等方式，‌直观地构建ETL作业，‌无需编写复杂的代码。‌这种方法降低了ETL开发的门槛，‌提高了开发效率，‌使得非技术用户也能参与到数据集成的过程中来。‌同时，‌可视化ETL工具通常提供了丰富的转换组件和数据处理功能，‌能够满足各种复杂的数据处理需求。‌
3、升级数据服务模块
新增数据编排功能，提供多API源之间的组合编排、封装和管理。数据编排通过定义和自动化工作流程来协调多个服务的交互和操作的过程。服务编排的主要目的是提高系统的灵活性、可扩展性和可维护性。
3、升级资源目录模块
新增元数据功能，元数据管理是企业数据治理和数字化转型的核心，它涉及识别、采集、存储元数据的计划、实施和控制活动，以确保元数据的质量，使组织能一致地定义数据并使用元数据服务满足业务需求。
元数据管理包含元数据检索、元数据概览、元数据维护、采集适配器管理、自动采集元数据和手动导入元数据组成。
元数据检索可检索查看已发布的元数据列表，查看元数据详情包括，所选元数据表结构信息、学员信息、数据预览和变更信息等信息。
元数据概览可查看所选时间内元数据管理中元数据、采集适配器、采集任务的统计。
元数据维护，支持对元数据进行管理，包括发布、下线、删除、编辑元数据信息、编辑血缘信息和编辑标签等功能。
采集适配器，查看当前支持的元数据采集器信息。
自动采集元数据，创建元数据采集任务，并对任务进行管理，支持新增、编辑、删除和查看元数据采集任务。
手动导入元数据，支持导入元数据或血缘关系文件。

功能模块 产品功能模块 模块描述
数据交换
SDX-E 提供库表交换（批次全量、定时增量、实时增量）、文件交换（包括文件同步、文件转数据、数据转文件）、API交换（包括API采集到库、API采集到文件等）功能；支持多源异构数据实时增量同步，支持全量和增量流式读取，支持采集位点回溯；支持数据加密、压缩、断点续传、数据限流、DDL、where过滤、一键建表、敏感数据自动识别、数据脱敏等；支持各类(结构化、非结构化、半结构化)数据接入任务的调度管理；支持单表交换、多表交换、整库交换、文件交换，并支持维护前置机和交换域进行跨网段交换等各类交换场景。
1个节点起步，根据实际应用需要选配多个节点。
资源目录
SDX-C 提供资源目录总览、三清单管理（目录管理、责任清单管理、负面清单管理、需求清单管理）、目录接入（数据库接入、文件接入、服务接入、发布、检索、订阅、审核、预览数据）、目录使用（库表交换、文件交换、API采集）等功能。资源目录分为信息资源目录、元数据目录两类。
1个节点起步，根据实际应用需要选配多个节点。
数据服务
SDX-S 提供API服务管理（从数据库/文件/API源自动创建服务、服务发布/编辑/查看/调试/下线/文档）、服务编排管理（服务编排、策略组绑定）、策略组管理（服务鉴权、访问次数限制、流量控制、服务熔断、绑定API）、服务检索和查看等功能。
1个节点起步，根据实际应用需要选配多个节点。
数据处理
SDX-T 提供数据质检（数据标准、数据质量）、数据加工（板块管理、数仓规划、主题域管理、业务实体、维度逻辑表、指标加工）、数据清洗（清洗规则库、清洗映射任务）、数据融合、任务管理（调度计划、任务监控）等功能。
1个节点起步，根据实际应用需要选配多个节点。
可视化ETL
SDX-L 提供ETL概览、ETL开发、ETL模板、ETL算子管理和ETL调度管理等功能。
1个节点起步，根据实际应用需要选配多个节点。
数据安全
SDX-A 提供用户及权限管理功能；支持日志审计（行为日志、网关访问日志、日志异常监控及告警）；支持数据分级分类（可自定义数据级别、内置多种数据识别规则、可自动识别数据类别）；支持数据脱敏加密（支持静态脱敏、动态脱敏，支持20多种脱敏算法）等功能。
1个节点起步，根据实际应用需要选配多个节点。
数据开放
SDX-O 提供资源目录、数据服务、元数据的检索入口、支持对检索结果进行详情查看、申请、评价、反馈、收藏，申请审批通过后，可通过创建数据交换任务、下载数据包或调用数据接口等多种方式，获取数据；支持开放数据的新增、删除、编辑、发布等管理功能；支持个人空间。
共享交换前置机
SDX-Q SDXQ作为一个独立的程序，搭载在具有双网卡的机器上，两张网卡分别加入内、外网络中，SDXQ通过实时同步内、外网的到自身的FTP（或SFTP）来实现文件在内、外网之间摆渡。
SDXQ拥有自己的元数据库，可以脱离SDX独立运行，实现文件的内外网传输。SDX可以通过配置，建立与SDXQ的通信，SDXQ可以通过网络通信将自身所具有的内、外FTP连接信息、文件信息、拓扑信息等向SDX反馈。平台提供前置机概览、前置机安装包管理下载、交换域管理和前置机管理，支持对共享交换前置机进行详情查看、新建、编辑、删除、查询、启用和禁用，前置机创建完成后，配置交换域即可完成跨域交换准备。