数据字典模板_揭秘｜让企业55%的潜藏数据「分类」呈现，需几步？

数据已渗透到每一个行业和业务职能领域，成为关键的生产要素之一。但是目前来看，绝大多数企业由于缺少对多样化数据进行敏捷持续捕捉和整合的能力，导致大量数据沉积，并逐步演变成不可被直接认知的暗数据。

Gartner 将暗数据定义为“组织在常规业务活动中收集、处理和存储，但通常无法用于其他用途的信息资产。

换句话说，暗数据就是那些需要资金来存储、保护和管理，但又没有得到高效的利用，不能提升商业价值的数据。这些数据若处理不好，往往会给企业造成不可回避的风险，比如：

1、由于企业对自身数据不能全局的驾驭和掌控，超过半数（55%）未经甄别数据因此无法进行分类或标记，在安全问题日益严峻，数据合规条例越发严苛的当下，这些被忽视的数据已成为黑客攻击的主要目标 。

2、企业在大量的潜在关键业务数据上，由于数据孤岛、标准不一等原因，一个组织会很难获得总体数据的全貌，从而成为生成良好的数据分析结果的主要限制因素，并带来大量的成本和资源浪费。

暗数据因业务而异，不同的行业和公司有不同类型的暗数据，归纳起来包括尚未应用于业务、形成有竞争力的情报或对商业决策产生帮助的所有数据对象与类型。比如我们所常见的：

1、电子表单

2、多个旧版本的文档

3、Email附件和下载完的压缩文件

4、闲置的数据库和未被利用的客户信息

5、前员工的档案和其他内容（例如项目说明）

6、分析报告和调查数据

7、日志文件、账户信息和交易记录

挖掘暗数据存在的难点

暗数据具有极大的潜在价值。有效的推动暗数据资产化，不仅可以提高数据利用率，增加企业收益；还可帮助企业实现敏感数据梳理，实现应有合规保护，同时减小数据存储占用空间和数据维护成本。

然而，如何将企业大量杂乱无章的数据转换成数据资产，发挥数据特别是暗数据的价值，却因为人、工具和技术的限制步步维艰：

比如，企业想要通过发掘暗数据，了解数据的第一步也是最基础的步骤是需要知道数据库里每张表描述哪些业务，表里的每个字段表示什么意思。但是现阶段大多数企业由于内部数据字典不完善，以及存在的数据管理混乱的现状，导致企业在了解数据之初就遇到阻碍，往往花费了大量的时间来建立数据仓库但是并不能获得有效的和高质量的数据。

如何发现暗数据，并实行数据资产盘点？

针对“隐藏”在企业内部、未被有效利用的“暗数据”，美创暗数据发现和分类系统通过引入自然语言处理、统计模型、特征分析、机器学习等方法，支持全面捕获元数据信息、智能解析数据类型与含义、自动发现数据内部关系，并以可视化报告的方式将最终成果展示给用户，从而实现将不可理解的数据转换成一份分类有序的数据，帮助用户认识和发现数据。

（产品优势）

基于暗数据发现进行数据资产盘点的步骤：

1、按照行业/企业特征，选择合适的模板

基于多年行业积累，同时通过对政策文件和标准文件的解读，美创科技在暗数据发现和分类系统中内置了医疗、港口、金融、社保、交通等行业的业务模板，并按照标准对各行业数据字典进行了梳理，统一了数据口径。

企业可以根据所属行业和内部特征，选择合适的行业模板进行梳理和盘点。

2、企业内部数据存储位置的探查和发现

数据资产盘点的前提是知道数据存储在哪里。随着时间的积累企业的数据会散布在各个角落，依靠人工的力量可能无法理清全部数据的存储位置。

企业的数据资产主要分布在数据库、云、大数据平台、文件服务器、电脑等终端，暗数据发现和分类系统提供了数据源自动扫描功能，可以自动探查数据存储位置。

3、数据含义的自动识别和解析

通过内置的业务模板和数据标准，暗数据发现和分类系统可以自动识别数据格式，在此基础之上，通过自然语言处理和特征分析等方法，对数据进行语义内容识别；另外还实现了表格分类和关联关系的分析，使得数据内部关系透明化。

4、分类展示数据，划分敏感等级

采用规范的数据分类方案对数据进行分类管理，并根据敏感程度划分敏感等级，帮助企业全面清晰地厘清数据资产、确定数据重要性以及敏感程度，对数据资产实现规范化管理，更好的完成对数据的维护和扩充。

5、生成可视化数据报告

系统最终将会生成完整、全面、直观的可视化发现报告，包括：数据分级分类报告、数据质量报告、数据资产报告等，并提供导出功能，帮助用户清晰地了解企业内部数据情况，掌握数据资产状况，快速完成对数据资产的盘点。

6、数据结果合理应用，实现规范化管理

一方面，根据数据资产盘点的结果可以运用于企业内部经营管理和决策分析，发挥数据价值；

另一方面，根据分级分类的结果，针对性地采取适当、合理的管理措施和安全防护措施，在保证数据安全的基础上完成数据的共享；

此外还可以根据数据质量的分析针对性地进行数据治理提高整体数据质量，在企业内部形成安全可靠、高质量的数据环境，最终实现对数据资产的规范化管理。