数据集成项目失败的五个常见原因

现在是凌晨3点。 我的闹钟响了，我从床上爬起来，打开笔记本电脑。 我们最大的客户之一需要在上午9点之前交付数据，而我要在日出之前起床，在交付之前对每个数据点进行三重检查。 我们的数据平台建立了数百次数据审核，但是该客户的交付过于复杂，以至于无法100％确信我们已捕获所有潜在问题。 对于我来说，这种情况很快就会成为一个典型的早晨。 醒来。 咖啡。 向数据神祈祷，无需增加500个Zendesk票证即可获得一个收件箱。

我叫蒂姆·刘。 我最近加入Hull担任数据集成主管，但是我整个职业生涯都在数据管理领域中工作。 上面的故事发生在多年前，是在一个不同的行业，一个不同的团队中进行的，而在那个时候，我对数据集成的隐藏复杂性知之甚少。 从那时起，我就被殴打了很多，但并非没有学到很多关于数据集成本质的课程。

我们都赞同“数据是公司最重要的资产”的口号，当然，“您无法管理无法衡量的事情”，但是对于许多公司而言，超出理想状态的是昂贵的，失败的数据的巨大浪费项目。 那是因为数据集成是大多数数据分析和运维项目的基础，但无疑也是最正确的部分。

数据集成问题会在您开始看到任何价值之前杀死您的项目，但是好消息是－并不是所有的厄运和忧郁。 有一条通往成功的道路，但这是一条少有人走，甚至很少谈论的道路。

我在这里告诉您我从事的数据项目失败时发生了什么，为什么它们失败了，以及我学到的东西，以便您不会遇到与我一样的地雷。

原因1：我没有完全考虑我们的身份管理策略

我已经管理了足够的数据集成项目，以意识到身份管理是许多常见数据问题的核心。 它的核心是处理您要分析并遵从意愿的系统中的主要实体。 让我们以客户数据空间为例。 什么在您的系统中定义一个人？ 公司的定义是什么？ 身份管理差是导致重复数据删除清理和手动干预成本高昂的原因。 知道什么可以识别系统中的实体是至关重要的，而且我已经意识到这是数据团队需要事先决定的首要任务之一。 在中间更改身份策略将不可避免地导致重复副本，不良关系和手动清理工作的激增。

原因2：我没有明确定义我们领先的记录系统

如果身份管理是第一个旋转板，那么那些标识的实体之间的关系就是第二个。 例如，您的营销系统中有人员，但您也有与之相关的公司。 实体之间的关系有时甚至更难以维护，因为它们依赖于可靠的身份管理策略。 这就是为什么拥有领先的系统非常重要的原因，尤其是对于维护正确的关系而言。

什么是领先系统？ 它是单个系统，是特定属性或关系的仲裁者。 特别是在涉及人与公司的关系时，您要确保在一个地方创建该关系。 否则，您将陷入一个数据循环的世界，个人在类似的公司之间跳来跳去：AmazonInc.fr与Amazon.us。 理想情况下，如果需要手动干预以建立正确的关联，则数据管理员应该可以轻松访问领先的系统。

原因3：我低估了“范围蠕变”

好的，原因3不是我个人所做的，而是我从客户和潜在客户那里听到的足够多的东西，我认为值得一提。

在售前过程中，我与潜在客户进行了许多交谈，最终他们自己讨论如何构建集成。 我总是有同样的反应： 上帝保佑你，祝你好运！ 服务的数量和每个应用程序中的细微差别使得该问题甚至对于专家而言也难以解决。 即使您能够节省工程时间来为您拥有的少数应用程序构建集成，您也不会忘记调整和维护解决方案所花费的时间。 哦，我有提到虫子吗？ 是的，那不是那样的事情发生，对吧？

事实是：是的，在一些简单的场景中，可能有必要在内部完成项目。 但是通常，任何更复杂的事情都需要更多的工作。

原因4：我没有针对遗留数据的明确计划

在某些数据集成项目中，这可能根本不是问题，但在其他项目中，这可能是唯一的问题。 许多客户担心丢失其遗留数据。 “但是见识！” 他们会说。 首先，您应该检查一下自己并确定自己是否是数据收集者。 很多时候，榨汁是不值得的。 遗留数据告诉您将来有用的信息的可能性很小。 现在考虑将旧数据管道与新数据管道集成的时间和成本。

很多时候，尤其是在新数据积累非常迅速的项目中，仅制定未来的策略会更容易。 对于坚持集成遗留数据集以便拥有数月历史的客户，我通常会告诉他们，清理和集成数据的项目将很困难，但是我们肯定可以在几个月内完成。 如果您需要6个月的干净原始记录，我的一般智慧是建议确保您现有的数据策略是可靠的，然后从那里收集6个月的数据，而不是着手进行昂贵的数据清理项目。

但最终，这一切都取决于。 在赫尔（Hull），我们有一些想要带走旧Cookie数据的客户。 我们最终对他们保持了完整无缺，以便他们可以区分新的网络访问者和回访者。 我的建议是认真研究您的旧数据集，保存绝对需要的数据，然后其余的交给Marie Kondo。 如果必须的话，您总是可以将数据备份保存在便宜的地方，以满足内部的inside积者！

原因5：我的节奏太快了

我在第一个数据集成项目的第一天： 让我们做这个事情！ 好吧，我们将从Intercom提取数据，然后将其与数据库中的产品数据进行交叉引用，然后将其与我们的营销活动结合使用，并可能根据潜在客户的发展前景来个性化目标网页他们的客户历程...

第37天是我： Soooo……有点野心。

从那以后，我学会了从一些较小的，轻松的胜利开始。 在赫尔（Hull），我对将客户数据集成到客户数据平台中的公司的建议是，首先确定一个明确的用例，该用例一旦实施便会为您带来团队价值。 对于第一个用例，请保持简单。 实施点越少越好。

如果您不知道最初的用例是什么，那就可以了。 需要花费一些时间来找出最适合您业务的因素。

免责声明：您的新数据库可能不会最终成为您的生产系统，因为它现在可能是一大堆杂乱无章的数据集。 但这是您进行探索和发现的起始沙箱。

让我的失败引导您走向成功

我可以在他们自己的小小说中详细阐述上述每个原因。 我可能还没有看完所有...但是我看了很多。 我为一开始就注定要失败的项目大汗淋漓，但对于让我为客户带来真正价值的项目克服了巨大的困难，我也感到惊讶。 除了潜在问题的任何特定清单之外，只要您了解数据集成是一个难题，并且拥有可以信任的数据合作伙伴，您就应该能够在炒作与现实之间找到平衡。

关于作者

Tim Liu是Hull的集成总监。 当他不愿生活和进行数据集成时，他喜欢与妻子和三个孩子一起度过时光，尝试新餐厅，并以最优惠的价格买到活龙虾。

关于赫尔

使用数据和技术来查找，获取和照顾客户从未如此简单。 但是，这些数据通常孤立地存在于工具和团队中。 赫尔通过无需任何代码即可收集，丰富和同步数据来解决此问题，因此您可以使用现有工具来精心安排与个人相关的体验。 结果为您的客户以及您的销售，市场和支持团队提供了无缝的体验。 有关更多信息，请访问www.hull.io。

From: https://hackernoon.com/the-5-major-reasons-my-data-integration-projects-failed-5p2aq31be