ylguoguo6666的博客

通过严格的数据质量管理和标准化措施，企业可以。

前面聊过了数据目录的设定、数据命名规则和维护规则，今天我们继续聊聊在设定中，企业的一些常见操作模式。

在前文中，我们聊到了企业着手创建数据目录时数据目录设定的一些常见模式。接下来本篇中，我们继续聊一聊关于数据目录创建时，数据的命名规则与维护规则中一些常见的操作方式。

当人们在搜索数据时，仅从数据本体往往并不能获取他们想要了解的答案。“这是什么？如何使用？是否可信？面对一个新的业务需求，数据分析人员应该如何寻找到合适的数据，并合理利用起来。数据产品的出现正是为了满足这类需求，可以帮助数据从业者节省大量重复、琐碎的前置准备工作。“数据产品是对数据资产的封装，使其易于发现、理解并值得信赖，以解决关键业务问题。

什么是数据目录？数据目录，顾名思义就是“数据的目录”。这里的“数据”指的是元数据。数据目录通过管理这些元数据，形成一个可用的数据清单，使数据开发者、数据分析师等人员能够通过查阅和搜索等操作，快速找到所需的数据。此外，数据目录还提供了附加的元数据，以帮助用户进一步评估数据的可用性和一致性。已成为现代数据管理的核心部分，它显著提升了数据从业人员在数据处理和分析方面的工作效率。今天，我们简单聊一聊的话题。

想象一下，如果在没有目录系统的庞大图书馆里寻找一本特定的书，你可能会耗费无数个小时搜索，但最终却一无所获。同理，企业的数据如果没有一个组织良好、易于搜索的系统，也无法充分发挥其潜力。企业数据目录能够简化这一过程，确保你能随时获取所需数据。对于数据分析师、数据科学家和数据管理者来说，挑战不在于可用数据的数量，而在于如何有效地发现、访问和利用数据。

在当今社会，企业管理者们愈发开始重视数据的重要性。数据不仅能推动战略决策，还能影响业务成果、推动创新，并为企业提供竞争优势。然而，随着数据量的增加，确保数据的准确性、一致性和可靠性成了数据从业人员面临的持续挑战。此时，数据质量工具就显得尤为重要。它们能够自动化地维护高质量数据，确保数据分析师、科学家和工程师更高效地开展核心工作。

这两年总听人聊起数据治理，这个词出现的频率越来越高，所以数据治理到底是干吗用的？首先，我们来看看看数据治理的定义。数据治理是指制定和实施一系列规则、流程和政策，以确保企业数据的质量、完整性、安全性和合规性。它包括数据的管理、控制和监督，确保数据在整个生命周期内得到有效管理和利用。数据治理不仅涉及数据的存储和处理，还包括数据的创建、使用、维护和销毁。听起来似乎太抽象了。让我们来换个说法。假设我们有一个大型图书馆，里面有数以万计的书籍，但是只能按照书籍的购入批次，被杂乱且无序的堆叠在一起。

公共数据由什么组织确权、企业数据由什么组织确权、个人数据由什么组织确权，目前的实践是确权基本基于内部组织，那么广义的社会组织范围内这些数据如何确权、这些权很大可能会交叉，比如相同数据可能会有不同的来源和数据持有者，建立产权分置的机制如何保证数据利益的分配，原始数据可能分属于不同的数据持有者，如何审慎建立原始数据的流转交易制度等。根据数据来源和数据生成特征，分别界定数据生产、流通、使用过程中各参与方享有的合法权利，建立数据资源持有权、数据加工使用权、数据产品经营权等分置的产权运行机制的基础制度。

比如，一家日本连锁便利店，采集并分析了来自全球4000万忠实用户的数据，用以优化营销投资方案和改善货架空间分配及利用率，该项目为其带来了125万美元的利润，以及超过1.25亿美元的年收入增长。任何的方法论从提出，到企业进行消化，再到落地，都要经历3到5年，甚至更长的时间。企业数字化转型，志在必行，而且是一项长期持久的战略举措，需要企业具备足够的重视度，配备相应的资源作为支撑，并且要有变革的决心和魄力。总结一下，ERP、中台、低代码的本质是企业治理方法论，其演进的底层逻辑就是，企业治理的主要矛盾发生了变化。

对此，您需要通过一种更简单的方法来查看数据的业务上下文，例如它是否是来自正确的数据存储的托管资源以及它与其他数据工件之间的关系。您不仅要了解当前您所拥有数据的类型、哪些人在移动数据、数据的用途以及如何保护数据，还必须避免过多的数据层和封装，避免数据因太难使用而毫无用处。随着关于数据的政府监管法规数量不断增长，企业经常需要证明数据的来源，例如特定数据工件的来源，或在实现最终目标之前进行了哪些数据转换；数据目录让用户可以看到与数据相关的所有内容，增强对所查看内容的信任度，为数据治理奠定一个绝佳的起点。

烟囱式开发：业务繁多、数据库多而乱，系统与系统之间错综复杂数据库种类：架构经历多次变迁，切换不完全，需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据数据结构混乱：同一字段，类型、命名都不一致文档缺失：无数据库文档或文档陈旧

数据治理，在数据平台的建设中，由于各种历史原因，普遍存在大量重复建设，不规范的行为动作，导致数据成本，人力成本的多余消耗。随着降本增效成为业务重心，我们需要从工具层面开展数据治理建设，利用已经完善的元数据基建能力，规模化治理流程，扩大治理范围，提升治理效率。

业务和IT领导普遍认为，真正的数字化转型是一个持续的、适应的过程，并且不一定有终点。当然，这并不意味着数字化转型项目不应该有战略目标和里程碑，也不应该有明确的方法来衡量业务的进展和成果。

越来越流行的时代精神是“平台工程是未来。”遗憾的是，许多组织无法指望“DevOps”团队来搞平台工程，从而抵达成功彼岸。在git代码存储库之间复制/粘贴一些Terrform模块是糟糕的“平台”。你的工程师不想处理它，运维团队将不可避免地为负责支持它。就连HashiCorp也开始为其“请联系销售人员”方案搭上“无代码”配置这股潮流。所有这些拥有企业客户收入的公司也都在苦苦挣扎。

而DataOps倡导的是每个人都应当学习去使用数据，数据不是某个人，某个小组的精英才能掌握的能力，它是一种文化。数据协同使用可以让授权的业务用户和第三方安全合规地使用企业数据，无需担心数据的隐私和泄漏，这是一切后续的基础。让数据部门全身心地投入到对于自动化、智能化数据科技的实践中，以最快地速度满足数据多样性，动态性，质量监控，系统稳定性的底层技术需求（后续会详细描述）。通过一个统一的、智能的数据平台将数据治理、数据编目、数据质量及数据保密工作整合在一起，只有这样才能确保所有数据都是可信的和受保护的。

当使用者定位到某一个表打开时，会进入详情页，详情页中会展示表的基础信息，字段信息、分区信息、产出信息以及数据血缘，从而可以帮助使用者了解这个表的来源和去向。通过丰富的不同类型的标签，可以完善数据中台数据的特征，比如指标可以作为一种类型的标签打在表上，主题域、分层信息都可以作为不同类型的标签关联到表。指标、分层信息、主题域信息都是以标签的形式存储在元数据中心的系统库里。最后，Range可以基于元数据中心提供的API接口，获取标签对应的表，然后根据标签更新表对应的权限，实现基于标签的权限控制。

数据中台的核心，就是解决数据孤岛问题，强调数据统一管理和避免重复造轮子，是对数据服务的共享以及复用。

今天，每秒都在生成 TB 和 PB 的数据，为这些海量数据集寻找存储解决方案至关重要。复杂的机器和技术现在收集了令人难以置信的广泛数据——每天超过 2.5 万亿字节！— 来自设备传感器、日志、用户、消费者和其他地方。数据存储并不像以前看起来那么简单。在管理和存储数据时，数据管理者需要考虑使用数据湖或数据仓库作为存储库。随着数据量、速度和种类的增加，选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库，还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖？

前不久Gartner 公布的顶级战略技术趋势中，数据经纬（Data Fabric）榜上有名。Gartner预测至2024年，Data Fabric可帮助企业减少50%数据管理人力成本，数据管理工作量可减少70%。

尽管企业越来越意识到元数据管理的重要性，但是在实际中很多应用并没有发挥应有的价值。前不久与一个行业客户沟通，他提出让他们帮着总结一下元数据管理到底有哪些应用场景，他感觉元数据管理平台就是一种摆设呢？

元模型管理即基于元数据平台构建符合CWM规范的元数据仓库，实现元模型统一、集中化管理，提供元模型的查询、增加、修改、删除、元数据关系管理、权限设置等功能，支持概念模型、逻辑模型、物理模型的采集和管理，让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯，以及每个元模型的生命周期管理。元数据维护就是对信息对象的基本信息、属性、被依赖关系、依赖关系、组合关系等元数据的新增、修改、删除、查询、发布等操作，支持根据元数据字典创建数据目录，打印目录结构，根据目录发现、查找元数据，查看元数据的内容。

产品经理 (PM) 负责产品的成功。他们是识别客户需求，然后制定产品开发战略和路线图的人。产品经理的角色是多种多样的，涵盖从产品设计和开发到营销和销售的方方面面。产品经理确保产品开发（包括功能和用户体验），处理端到端的产品管理，并尽一切努力提供超出用户期望的产品。数据产品经理是普通产品经理的数据科学版本。他们负责管理整个产品生命周期的数据和数据流。因此，数据产品经理有责任开发符合组织愿景和用户期望的数据驱动产品及其功能。

微服务是一种 软件架构 ，它将应用程序的特性和功能划分为单独的、更小的组件，称为服务。当这种方法开发应用程序时，它被称为微服务架构。微服务由于其流畅的开发过程而成为当今的趋势。微服务架构使开发、集成和维护应用程序变得容易。最初，开发人员应该逐步构建应用程序；之后，他们可以单独处理每个元素。此过程使添加、修复或改进功能变得容易，而不会危及整个应用程序。微服务架构对大型企业最有用。

数据资产当然也需要盘点，只有对数据资源进行统筹规划，全面梳理，“摸清家底”，才能让数据更好地服务于企业的业务应用。对企业来讲，资产盘点不是一个新鲜的事。所有企业都会定期或不定期地对公司的资产、存货进行全部或部分的清点，以确实掌握该期末的企业存货数量、价值，并因此加以改善，加强管理。通过资产盘点查明各项资产的库存和使用情况，以便合理安排生产经营活动，充分利用各项财产物资，加速资金周转，提高资产使用效率。这里的“资产”，是指企业的固定资产。

要防止数据湖变为数据沼泽，就需要将数据碎片分门别类，将不可洞察的数据和无关数据归类为数据噪声，留下可洞察的数据和相关的数据，我们称之为“信息元”。这类数据进一步通过数据加工形成整理后的数据，与可直接洞察的数据共同构成了可分析的数据。数据的有效性、及时性、相关性、一致性、安全性、准确性，其来源的可靠性、粒度的精细性，最终都会体现在“存”之上，具备上述条件的数据组合，帮助数据实现了其“丰富性”。从数据的作用及管理的方式上来讲，我们把数据分为四个层次：元数据、主数据、参考数据、一般数据（交易数据），如图3所示。

数据管理是为企业收集、组织、保护和存储数据的做法，以便对数据进行分析以制定业务决策。数据管理通过围绕数据的使用设置流程和政策，并建立对企业用于决策的数据的信心，帮助企业最大限度地减少潜在错误。企业采用数据管理系统以确保数据可信。数据管理系统是许多企业成功运营业务的基石。这些系统帮助企业组织和存储数据，以便在需要时可以轻松访问。数据可以是从客户记录到库存清单，再到装运细节等的任何内容。本文介绍了可能在企业中使用的不同类型的数据管理系统的一些示例，以及实施数据管理系统时要考虑的关键特性。

往往是“理想是丰满的，现实是骨感的”。要防止数据湖变为数据沼泽，就需要将数据碎片分门别类，将不可洞察的数据和无关数据归类为数据噪声，留下可洞察的数据和相关的数据，我们称之为“信息元”。从数据的作用及管理的方式上来讲，我们把数据分为四个层次：元数据、主数据、参考数据、一般数据（交易数据），如图3所示。对于数据管理的职能，DAMA将其归为十一大类：数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文件和内容管理、参考数据和主数据、数据仓库和商务智能、元数据、数据质量，如图1所示。

甚至很多企业，领导大会小会也强调数字化的重要性，也成立了相应的数字化部门，而且每年在系统、工具、费用上的投入一点儿也不少，但就是没有看到数字化给经营带来哪些实质的改变。前一段时间，跟一个快消品牌的朋友交流，该企业无论从体量、市场份额，还是知名度上，都是绝对的头部位置，但数字化的能力却非常堪忧。就是很多企业，领导在大会上会说我们要数字化，会安排专门的部门负责，会花很多钱在工具和系统上，任何数字化，一定意味着新的流程、新的作业方式，但是在集体惯性的强大势能下，走着走着，组织就会回到惯性的老路上。......

包括资产治理、数据质量监控、数据指标体系的建设等。数据治理的范围很广，包含数据管理、数据安全、数据质量、数据成本等。在DAMA数据管理知识体系指南中，数据治理位于数据管理“车轮图”的正中央，是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等10大数据管理领域的总纲，为各项数据管理活动提供总体指导策略。...

举个例子，配备传感器和人工智能的洗碗机，可以预测可能发生的组件故障并提供维修服务，但它们很难以数字方式连接到互补对象（无法像健身者一样通过数据连接到第三方教练，从而产生进一步的互动），并扩展到数字平台。这一层的主要挑战，是在现有资产中安装新设备，生成与获取广泛的交互式数据，以及打破数据孤岛并实现数据共享。它利用健身设备产生的数据，将无数的健身者连接到一个社交网络中，并根据每个健身者的情况为其匹配合适的培训师。很多企业对使用数字技术进行了特别的决策和大量的投资，但收效甚微，有的甚至难以维持当前的竞争力。...

这个时候你店里的店员小D说“老板，今天我们共销售了X产品400件，我统计了近3年的X产品的每日销售情况，发现每年的8月份销量最好，并且我发现目前生产X产品的材料有上涨趋势，X产品可能会涨价，我建议尽快做好备货。相同的数据不同的人使用会产生不同的价值；因为黄金是有规格的，它的规格限制了它的价值，一定的纯度，一定重量的黄金，其市场价值是有衡量的标准，容易计算。比如说你把土豆炒成土豆丝，土豆丝是土豆的使用价值体现，但是土豆的价值是它仅仅是土豆这个价值，当它变成土豆丝了，那就是土豆丝的价值了，不是土豆的价值了。..

以公民社会为中心，将其作为数据经济最重要的受益者，这一目标可以通过以下方式实现提供公平的基础设施开发和数据访问，创建环境可持续的基础设施和实践并为其提供资源，在数据政策中以FAIR原则（FAIRprinciples）（可查找、可访问、可互操作、可重复使用）为中心，作为全球责任的一项要求，以及在数据权力不对称的情况下为集体利益、控制权、责任和道德提供指导的关怀原则（CAREprinciples），并认识到政府不是唯一可以为公共利益使用数据的行为人。我们发现，欧盟现有的数据治理监管框架有分裂的风险。...

Gartner用主动元数据市场指南取代元数据管理魔力象限，预示着什么？到底什么主动元数据管理？欢迎聪明的读者自己去文中探索。2022年的元数据管理已走过20多个年头。而这一年，元数据管理正处于变革转型的风口浪尖。这一变化预示着什么？现代数据堆栈中即将产生一种处理元数据的新方法。无论您每天处理千字节还是兆字节的数据，您都可能想知道这究竟意味着什么。这篇文章，笔者将尝试解答这些问题并预测元数据管理的新发展方向。...

数字化转型已经极大地改变了企业运营的方式，而这一点在数据治理方面最为明显。有效的数据治理工具对于确保企业的数据完整性，以及应对不断变化的合规标准和安全要求至关重要。数据治理提供了一个方法论来协助公司避免数据相关的风险，并提供了一套工具来挖掘数据的最大价值。这篇文章定义了 "数据治理 "的概念，并参考了一些成功的公司如何通过数据治理工具来组织、访问和数据保护的策略。简而言之，数据治理是一套控制数据使用、管理和存储方式的策略、流程、规则和指标。数据治理需要考虑公司的独特文化和数据使用现状，以及数据归属状况和数据

数据治理很难，以下是我基于实践总结的21条策略，希望于你有所启示。策略一：数据治理能否成功很大程度取决于领导的级别，CFO，CMO，CIO都在维护各自专业领域的利益，但鲜有CDO。因此，不要看公司怎么说，得看它怎么做，凡是要干大事的，组织和领导的调整都是第一步策略二：大多领导并不清楚数据治理的内涵，因此普及工作任重而道远，如果你的企业有一位，那是中大奖了，如果别的企业数据治理做的很好，也别急着学什么成功经验，先看下各家领导的级别和水平，也就是背景调查策略三：领导能对着业务部门直接下达数据治理要求，每次都能亲

上周末，与今年大三的亲戚家孩子聊天才知道，除了准备考研，他还参加了6月底的一场数据治理工程师认证考试。笔者很惊讶，这可不是什么人都知道的认证考试。原来，大学期间，他一直跟一位学长保持沟通，这位学长从计算机专业毕业后，就走上了数据工程师的岗位，如今已经是一名资深的数据治理项目经理，薪水可观。前景好，薪酬高，这是多少人梦寐以求的岗位。不查不知道，笔者在某招聘网站搜索“数据治理”时被惊到了。为了聘请数据治理专家，有国内大厂居然可以给到年薪200万元的薪资（130K-160K*16薪）。图1：华为200万年薪聘请数

传统数据中台总是从马云或阿里的故事开始，和大家讲述一遍什么是数据中台，故事很美好，结局却不尽如人意，因为我们的概念确实太大了！很多的企业也在疑惑，到底原因是什么。是故事不够好，还是因为我不是阿里。确实，你不是阿里，故事也足够好，要不大家为什么要争着提这个概念（在过去的几年中，甚至还加上什么数据中台元年的说法），只是最终在付出了很大的代价，喊了多年的口号后，大家也累了。也苦于没有更好的概念，最终还是要把这个不争气的概念拿来继续讲，只是对乙方的要求或自己人要求更高了，希望借助类似的方式让这个故事可以延续一下。软

网上对于这几个名词的解释都比较多，但大都是根据各种搜索的结果来进行汇总拼出来的，笔者在各大全球软件公司工作过，也是AWS，微软和Google十年以上的深度用户，下面用自己使用和几大公有云公司自己的定义简单说一下。说这几个概念的时候，大家考虑一下没有公有云之前企业是如何构建企业信息系统，拿比较大的企业软件SAP ERP财务来举例子（20年前的经典案例模型）：某大型企业要上线SAP ERP的财务模块，比如FI/CO（财务和成本）功能，那么企业需要做什么呢？首先，需要购买一套IBM的小机，外带EMC的存储，上面安

如果您是数据圈的人可能会观察到一个现象，最近两年数据治理（Data Governance）的关注度迅速暴涨，俨然成为数据圈的一个流量明星。众所周知，数据治理其实并非一个新概念，最早可以追溯到2004年，由H.Watson首先提出。而百度百科上最早在2011年就创建了“数据治理”词条。为什么说数据治理成为流量明星呢？看一下百度和头条两个平台的统计数据。笔者从头条指数后台查询出来自2020年9月1日至今，“数据治理”的搜索热度。可以看到，这个词在2020年9月1日时间节点还没有搜索热度，然后进入10月热度突然开