数据资产目录的建设步骤

04 数据资产目录的建设步骤
第 1 步：数据资产盘点
数据资产盘点是使用科学的数据盘点方法，以“摸清家底”为目标，对企业的数据资源进行统筹规划，全面梳理。一方面，从业务视角对数据资源进行梳理和规划，包括：制度文件的解读、流程表单梳理、关键数据的识别等，并定义数据的分类体系和数据资产的业务属性。另一方面，从技术视角对系统数据进行盘点，包括：数据关系、数据结构、数据存量、数据增量、存储方式等，梳理数据资产的技术属性。
数据资产盘点的方法和步骤在《数据资产管理：企业的数据资产怎么盘？》有详细的描述，此处不再赘述。
第 2 步：数据资产登记
根据数据盘点结果，在数据资产目录完成数据资产概要信息的登记。数据资产登记主要包含三个方面信息：第一，业务方面，例如：数据资产名称，所属数据域，所属数据分类、数据资产描述等；第二，技术方面，数据资产位置（哪个系统，那张表），数据资产类型（结构化数据/非结构化数据），数据资产方式（数据库/文件/API接口）等；第三，管理方面，数据资产所有者（归口部门）,数据资产管理员，数据资产上架时间，数据资产共享条件等。
数据资产登记可以采用人工方式（据笔者观察目前大多数是采用这种方式）或者基于AI的数据资产识别。
第 3 步：采集元数据
在登记完数据资产基本信息后，接下来关键一步是采集数据资产的元数据。数据资产目录使用元数据来识别数据表、文件和数据库。元数据采集爬取公司的数据库并将元数据（不是实际数据）带到数据资产目录中。由于数据资产分布在不同的位置，元数据采集的范围包括：
关系数据库 - Oracle、SQL Server、MySQL、DB2 等。

数据仓库 - Teradata、Creenplum等。

存储对象的元数据。

云平台 - 阿里云、微软 Azure Data Lake、AWS 的Athena 和 Red Shift。

非关系/NoSQL 数据库 - Cassandra、MongoDB。

Hadoop大数据平台的相关元数据采集。

BI平台，Tableau、Power BI、国产BI软件等。

ETL工具，Kettle、DataStage、Informatic等。
第 4 步：标记数据关系
标记关系是管理数据资产的一个重要步骤，通过这一步，用户可以跨多个数据库发现相关数据。例如，分析师可能需要整合的客户信息。通过数据资产目录，发现五个不同系统中的都有客户数据。有了数据目录的帮助，可以构建一个实验区域，在那里可以连接所有数据，清理数据，然后使用合并的客户数据来实现业务目标。
为表“Accounts”标记的关系示例如下：
图片
第 5 步：建立血缘关系
标记关系后，数据目录会构建血缘，。数据血缘的可视化表示有助于跟踪从源到目的地的数据，它解释了数据流中涉及的不同过程。数据分析师能够根据数据血缘追溯分析中错误的根本原因。通常，ETL（Extract、Transfer、Load）工具用于从源数据库中提取数据、转换和清洗数据并将其加载到目标数据库中。
一些可以解析血缘关系的ETL工具包括：SQL解析、Alteryx、Informatica、Talend等。
第 6 步：数据资产组织
采集过来的元数据以技术格式排列，缺少表、列的中文注释，不利于业务人员理解数据。这时候需要基于这些技术元数据构建语义层，对相关数据表、列进行中文标记，以便业务人员能够发现、访问和理解它们。
标记——创建数据语义层

按使用量组织——数据资产热力图

按特定用户使用情况进行组织——推送至用户的数据门户

自动化组织，可以高级算法来组织数据

写在最后：数据治理与数据资产目录
数据治理定义了数据管理的总体策略，规定了数据管理的组织、制度和流程，明确了数据的权属，定义了数据标准，为数据资产管理指明方向。数据资产目录是数据治理策略的具体执行，以业务友好的方式展示企业的数据资产和位置，帮助用户更好地找到、理解和使用他们的数据。
数据资产目录的建设是数据治理中重要的一环，创建可访问的数据资产目录允许非技术人员定位和利用整个企业的数据，并自动发现企业系统中的数据源，包括业务、技术和流程的数据血缘提供了完整的数据透明度，因此用户可以了解数据的来源、流程和依赖关系，以及数据从源头到完成和消费的流向。因此，用户可以快速发现数据的影响，使其适合企业业务流程并做出更明智的数据决策。
数据资产目录的构建是实现自助数据准备，自助数据分析的前提。基于数据资产目录，业务数据分析师可以企业有哪些可用数据资源或已更新的数据资产，知道谁是数据所有者，以及这些数据资产位于哪里、如何处理它。最重要的是，基于数据资产目录可以提高定位和查询数据的速度和效率，以推动数据的使用，从数据中获得洞察力，增强企业竞争力。