大数据平台 - 其他_其他数据平台-CSDN博客

本文链接：https://blog.csdn.net/micklongen/article/details/106270184

大数据平台 - 其他

数据可视化平台

可视化平台产品定位和需求分析
- 大的产品功能维度
  以页面维度为单位进行自定义配置开发，在页面中可以自由添加多个图表展示控件。
  支持自定义图表页面布局的能力，包括但不限于 Frame 和 Column 等基础布局组件。
  支持常用的图表和文本组件，支持过滤器等组件，提供参数化配置组件的能力。
  标准化数据源接口，可动态拓展新的数据源。
  提供基础的数据分析和格式化配置能力，支持同比、环比、聚合运算、阙值基线、维度层级定义等功能。
  查看数据的终端用户，能够自定义数据视图，可以进行排序、过滤、钻取分析、局部缩放等动作。
  支持定时动态刷新图表，支持实时数据展示业务。
  支持个人业务视图，支持图表收藏订阅等功能。
- 多租户管理和用户权眼维度
  支持可嵌套的业务分组能力，支持按目录结构树分级授权管理可视化图表，授权范围为业务组自身顶级目录以下的所有内容，包括子目录。
  业务组管理员角色可以管理组内用户，进行角色配置、目录审核、审批（增删改等〉。
  支持对各类图表设置不同的安全等级，区别管理、高安全等级的报表、目录、角色的管理，需要走审批流程。
  支持图表元数据信息的检索，在没有详情权限的情况下，支持列表和简介浏览，便于自主申请权限。
- 和周边系统的开放集成维度
  支持图表的邮件订阅，定时以邮件形式发送图表内容。
  支持可视化页面嵌入第三方后台，便于第三方后台集成具体图表进行展示，节省开发工作量。
  支持以 API 的形式根据模板创建图表，便于和开发平台等外部后台集成，支持一些快速自动生成图表的业务场景。

数据质量管理

元数据管理平台：广义来讲，除了业务逻辑直接读写处理的业务数据，其他所有用来维持整个系统运转所需的信息、数据都可以叫作元数据。比如数据表格的 Schema 信息，任务的血缘关系，用户和脚本、任务的权限映射关系信息等。
- 管理这些附加元数据信息的目的，一方面是为了让用户更高效地挖掘和使用数据，另一方面是为了让平台管理人员更加有效地做好系统的维护管理工作。
- 常见的元数据信息包括：
  - 数据的表结构 Schema 信息；
  - 数据的存储空间、读写记录、权限归属和其他各类统计信息；
  - 数据的血缘关系信息；
  - 数据的业务属性信息：
- 无数据管理相关系统方案介绍
  - Apache Atlas
  - Cloudera Navigator Data Management
DQC数据质量中心：DQC 质量中心就是一个基于规则进行数据校验的系统，先通过各种插件将必要的数据采集进系统，然后根据用户自定义的规则对这些数据进行校验匹配，对外提供查询和报警服务。外部的系统可以进一步通过客户端 SDK 或 API 获取数据校验的结果，对后续数据处理链路进行必要的处理，比如发现问题时，阻断下游任务的执行或进行补偿修正等，怎么做取决于具体的业务链路的需求和实现。