一、元数据管理工具Atlas(扩展)
### --- 数据仓库元数据管理
~~~ 元数据(MetaData)狭义的解释是用来描述数据的数据。
~~~ 广义的来看,除了业务逻辑直接读写处理的那些业务数据,
~~~ 所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。
~~~ 如数据库中表的Schema信息,任务的血缘关系,用户和脚本/任务的权限映射关系信息等。
~~~ 管理元数据的目的,是为了让用户能够更高效的使用数据,
~~~ 也是为了让平台管理人员能更加有效的做好数据的维护管理工作。
~~~ 但通常这些元数据信息是散落在平台的各个系统,各种流程之中的,
~~~ 它们的管理也可能或多或少可以通过各种子系统自身的工具,方案或流程逻辑来实现。
~~~ 元数据管理平台很重要的一个功能就是信息的收集,至于收集哪些信息,
~~~ 取决于业务的需求和需要解决的目标问题。
~~~ 元数据管理平台还需要考虑如何以恰当的形式对这些元数据信息进行展示;
~~~ 进一步的,如何将这些元数据信息通过服务的形式提供给周边上下游系统使用,
~~~ 真正帮助大数据平台完成质量管理的闭环工作。
~~~ 应该收集那些信息,没有绝对的标准,但是对大数据开发平台来说,
### --- 常见的元数据信息包括:
~~~ 表结构信息
~~~ 数据的空间存储,读写记录,权限归属和其它各类统计信息
~~~ 数据的血缘关系信息
~~~ 数据的业务