译文：数据文化问题及解决方法

原文链接：https://tdan.com/data-culture-issues-and-how-to-fix-them/26701

如果您的组织使用数据（即使不使用数据），则您具有数据文化。考虑一下您和您的同事之间进行交互和讨论数据的方式。人们害怕吗？他们相信吗？是作为业务和竞争优势的驱动力，还是仅仅是现有运营的精疲力竭？

数据文化是围绕数据生产，使用和消费的组织过程和社会规范。不良的数据文化可能导致混乱的沟通，不一致的决策制定和无法采取行动的见解，而好的文化则会促进强大，可行的和以数据为依据的见解。

在评估数据文化时，您应该注意什么？我发现不良数据文化的三个关键指标：对数据的恐惧，对词汇和度量的不一致使用以及对数据的不信任。在本文中，我将讨论这些问题的后果以及一些发现的有效解决方案。

这些数据文化问题很大程度上是使分析数据民主化的结果。民主化意味着向需要它的人们提供数据，并具有从中获得有意义的见解的技能。数据集中化与民主化之间的辩论本身就是一个完整的讨论，但是我发现，允许人们访问和了解数据以解决他们在日常工作中遇到的问题具有很大的好处。在本文中，我还将探讨民主化数据的一些危险区域及其可​​能的解决方案。

对数据的恐惧
所有组织都在朝着数据驱动的见解迈进。数据是一个强大的工具，它使我们能够查看过去的表现并查看总体趋势以指示未来的表现和直接的决策制定。但是，如果组织中的人担心数据，他们将不会倾向于使用数据。

许多人对数据感到不舒服。他们可能不知道如何使用它，感到不知所措，或者认为这是一个不直观的黑匣子。他们可能会害怕破坏某些东西。即使是了解数据概念的人，也可能会害怕尝试陌生的数据集。这种犹豫意味着人们将不会最大程度地使用数据。想要对数据做出决策的人会避免这样做，因为他们被吓到了。

为了解决这个问题，我们必须为人们提供适当的工具，使他们对数据感到满意。预先培训和讨论至关重要。与其将许可证交给新的分析师并假设他们的技能已经为他们准备好处理您的公司数据，不如对工具，公司的数据和最佳实践进行短期培训。

我告诉接受过这种培训的每个人，目标不是让他们记住我所说的一切，而是要知道何时以及如何提出问题。数据可能很棘手，通常可以使用（通常更重要的）不能使用的特定方式。我没有告诉他们记住每种情况，而是给他们提供了工具来识别这些情况并嗅探是否有问题，然后为他们提供各种资源来理解和纠正问题。

在新的分析师有机会养成不良习惯之前，预先进行数据教育有助于提供环境和资源。然后，他们会感到自己拥有强大的数据能力，并且知道可以与谁联系解决各种问题。这些培训课程使他们感到自己好像是分析师社区的一部分，并让他们感到很自在地与组织内其他分析师讨论数据问题。

词汇和度量标准使用不一致
词汇和度量标准的不一致使用很容易导致会议混乱。这是我多次遇到的情况：

人们聚在一起开会讨论上个月的销售额，并确保季度数字按计划进行。上个月的销售目标是150万美元。

运营总监：“上个月的销售额为170万美元！我们绝对会按季度取得季度数字。因为它似乎一直在起作用，所以让我们在本季度的剩余时间内保持原样！”

市场总监：“上个月的销售额为140万美元。我们距离还不太远，但是如果我们保持这种步伐，我们将错过季度数字。我建议增加营销预算。”

运营总监和营销总监试图证明他们的数字是正确的。最后，会议暂停，而他们各自返回分析人员以了解数学原理。

可以看出，运营销售总额并未考虑退款，但营销销售总额却考虑了退款。没有人能确定退款是如何纳入每月销售目标的。

如果您对这种交互听起来很熟悉，则表明数据文化在使用词汇和量度方面不一致。花时间弄清楚为什么数字不累加或指标未对齐的原因是花在制定和执行决策上的时间。此外，即使您能够做出决定，也可能没有做出正确的决定。如果不知道如何计算月度销售目标，就不可能知道组织是应该坚持到底还是对营销进行更多投资。

标准化词汇和指标要求每个人都在看同一件事。首先，这要求我们将数据移到尽可能远的上游，然后合并数据集，最后创建通用仪表板。让我依次评论每个。

向上游移动数据

我们发现可以在其中生成或操纵数据的四个主要层：在源头；在源头。在提取，转换，加载（ETL）期间；在商业智能（BI）工具中；在分析过程中。

源头产生的数据：直接来自应用程序或软件的数据。它仅依赖于输入数据及其生成软件的完整性。这些数据将在整个组织中保持一致-生产数据和分析数据。
在ETL层中处理的数据：从生产中获取并进行处理的数据，通常是为了使其更易于分析。该数据在分析数据中将保持一致，但不会出现在生产数据中
在BI工具中操作的数据：ETL后的数据，在BI工具中访问。大多数BI工具都有能力整理数据以仅显示相关文件并创建计算，然后可以通过BI工具对其进行访问。BI工具中整理的数据使您可以控制BI仪表板创建者正在访问的内容，同时仍使他们可以自由创建自己的可视化文件。这些数据在BI工具之间将是统一的，但在所有分析数据或不同BI工具之间将不统一。
分析时处理的数据：每个分析师和仪表板创建者在使用数据时所处理的数据。这些通常是计算。允许单个分析人员计算和处理数据是有益的，因为中心机构无法满足所有分析需求。但是，请注意人们在分析中是否使用相同的假设。如果他们不这样做，将会有不同的数字来回答相同的问题。如果似乎很多人都在使用类似的计算，将这些计算移到ETL或BI Tool层将很有用。
数据离源越近，组织在数据分析中保持一致的可能性就越大。将数据移到源头将加快通信速度，并确保每个人都相信显示的数字。

合并数据集

一旦数据处于最佳位置，重要的是要有一种简单的方法来访问它。这不只是为数据提供正确的权限。它是以一种可以理解的方式构造它。

第一步是创建一些更广泛的数据集，以合并经常连接在一起的表。不同的组织选择以不同的方式拆分其数据：按主题（例如财务数据），最常用，按详细程度等等。

创建更广泛的数据集存在一些缺点：灵活性和性能问题较少。较宽的数据集意味着已对连接进行了预测以进行分析。根据数据模型的复杂性，预定连接可能不是问题，否则可能会使某些分析更加困难。这样的一个例子是复制行-在预定的联接中，某些表可能最终会相乘以满足数据集的详细程度，这意味着必须小心确保数字正确累加。此外，较窄的数据集性能较差，这使它们难以用于分析。

但是，更广泛的数据集可能有助于减少混乱，浪费时间和出错的可能性。如果结合得当，则更广泛的数据集可确保人们无需熟悉数据模型即可创建分析。他们不必了解外键如何相互映射或如何使用查找表对ID进行解码。寻找正确的表进行连接也很耗时。可以消除的连接越多，分析就越容易和快捷。您希望数据越民主化，预测联接就越重要，从而可以访问更多数据。

数据不信任
我们中间谁没有不良数据经验？分析师有时会进行几天的分析，只是为了意识到他们的基础数据不正确，最终会感到出卖和被烧毁。每当发生这种情况时，他们就会越来越不信任数据。谨慎的分析师会在数据中看到一个小错误-可能是刷新延迟或异常值离奇-并推断到整个数据集，将其视为无用。在没有信任的情况下，分析师会犹豫使用数据，从而给高级管理层带来报告和分析中的巨大误差。

提高数据信任度的关键是通信。如果分析人员不了解工作中的已知问题和修复方法，那么他们遇到的每个新问题都将变成未知的未知问题。他们假设较小的错误表示较大的错误，并花时间检查数据而不是进行分析。

与其让分析师想象所有可能的错误情况，不如向他们提供有关数据始终出问题的完整信息是至关重要的。即使没有人抱怨这些问题，宣告所有问题似乎也适得其反，但它显示出充分了解所有情况的真诚。通常，数据错误并非无所不包。从前一次刷新后，仍无法使用隔夜刷新的数据。让他们知道错误的具体细节将告知他们数据的哪些部分是危险区域，哪些部分可以安全使用。这限制了分析人员在发现数据错误时可以做的灾难性工作量。

使人们及时了解数据中所做的更改和改进也很重要。数据的任何更新或改进应定期通过发行说明进行交流。

为数据用户实施票务系统或另一种一致的方式来与数据交流他们的问题和请求也很有帮助。它不仅减少了数据团队通过电子邮件，IM，亲自等方式收到的临时请求的数量，而且还提供了对正在进行的更新的更一致的视图。票务提交者可以去一个位置查看他们的请求（并且-根据票务系统-他们在哪里进行）。这有助于打开通常感觉就像是数据生产黑匣子的帷幕。

营造讨论数据的文化
这些步骤提供了有关数据使用的指南和防护栏。尽管很重要，但拥有更健康，更负责任的数据使用的核心要素是数据文化。变革需要从头开始，这些变革不能由高级管理层决定。不要期望仅仅让CIO来说“我们需要以不同的方式考虑数据”会发生任何变化。

文化变革来自每天都在使用和谈论数据的人们。必须促进员工之间关于数据和数据使用的随意对话。如果人们公开谈论数据及其使用方式，他们将能够更好地互相帮助。此外，它们的词典将开始合并。在彼此交流中，他们开始使用相同的词指代相同的概念。如果可以跨部门促进这些对话，那么在鼓励改变文化和使人们减少恐惧感和对数据的信任方面将有很长的路要走。

在这方面，最有效的技术是讨论时间和办公时间。

讨论时间是固定的（每周）时间段，可供组织中处理数据的任何人聚在一起讨论话题或听演讲。通常，主题是固定的，但是会受到工作场所中发生的事情或常见问题的影响。它可能与如何使用数据工具，对特定数据集的检查，字段定义或与您相关的各种数据相关问题有关。
上班时间是指具有某种类型的数据或工具的专家可以在一定时期内完全向同事提出问题。尽管我们大多数人都在处理临时电子邮件，而人们却在办公桌旁闲逛，但办公时间却是有益的，因为人们可以轻松地提出问题。他们不需要觉得自己在打扰您或打扰您的工作，因为这次是专门为回答问题而设计的。
办公时间的另一个好处是，可以锁定日历上的其他时间，而不必回答问题。为办公时间设置定期且频繁的节奏至关重要，这样人们就可以知道何时可以找到您，而且他们不必等待太久就可以提问。如果办公时间设置得太少，人们可能最终会尝试自己回答问题，而不是去找专家，这可能会导致数据其他部分不匹配。

上班时间和讨论时间可以帮助解决所有三个数据文化问题，即讨论数据更多的人会变得更加适应数据，围绕数据发展成通用语言，并且更有可能讨论与数据有关的问题。

结论
数据文化问题很容易讨论，但是需要一个村庄来实施。不能仅仅裁定数据信任问题不再是问题，或者我们都应该使用一致的词汇表。文化变革来自那些正在使用和讨论数据的人。

数据是每个人都依赖的东西，但是很少有人能完全看到它。将其保存在黑匣子中只会增加其神秘感。实施我已经讨论过的这些步骤中的一些步骤，将揭开谜团，并使更多的人参与到对话中。人们谈论数据的次数越多，它将越能融入公司文化的时代精神，从而创造有机的文化变革。