大数据平台系统设计包括哪些

大数据平台设计关注于解决大规模数据处理需求,包括目录管理、数据采集、资产管理、数据治理、共享、开发和分析系统。这些系统分别负责数据的标准化、传输、质量提升、资源共享和智能洞察,旨在提升数据价值和服务业务。
摘要由CSDN通过智能技术生成

  建设大数据平台的最终目的是服务于业务需求,解决现有业务问题或者创造新的机会。业务部门可能并不关心是采用大数据技术,还是传统的数据库技术,是否采用大数据技术的主要依据是数据量。如果出现任务运行很久的情况,或者因为计算量太大现有技术不能满足,又或者有大量半结构化、非结构化数据需要处理的时候,可能就有大数据的诉求了。

  大数据平台系统设计包括哪些?

  1、目录管理系统

  目录管理系统用于盘点和梳理业务数据,编制发布业务目录,规划和指导数据的采集、处理、管理和共享等。一般包括目录分类管理、目录编制、审核和发布功能。

  2、数据采集系统

  数据采集系统为大数据平台提供基础支撑性 服务,构建高效、易用、可扩展的数据传输通道。

  3、数据资产管理系统

  数据资产管理系统主要作用为标准数据管理、元数据管理、数据资源管理和数据资产盘点。

  标准数据管理:管理对象为字典、数据元(用于业务方标准化管理业务字段),形成数据标准体系。

  元数据管理:元数据是所有系统、文档和流程中包含的所有数据的语境,是生数据的知识。

  ·元模型管理:获取并展示不同数据库类型的元模型元素及属性信息;

  ·数据源管理:新增、编辑、维护数据库信息;

  ·元数据注册:包括表、视图、索引、字段、列族、消息等各类元模型下的元数据;

  ·元数据查看:按数据源查看已注册的所有元数据,并可查看元数据的关联关系、血缘关系。

  数据资源管理:对数据资源进行目录化管理,形成有层级、有结构的数据资源集市。

  ·数据目录分类:实现数据目录的分类设置;

  ·数据目录编制:实现数据目录的新增、修改、删除、停/启等;

  ·业务目

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值