现代数据堆栈MDS：企业采用的难题

在本文中，我们将深入探讨大中型公司正在使用什么，为企业规模设置现代数据堆栈（MDS）的困难，以及免费和开源MDS的机会。我们还将强调它的缺点：在数据工程生命周期的每个阶段使用专用工具会增加复杂性。

构建企业数据堆栈的难题

无论如何，构建企业级数据堆栈都不是小菜一碟。通常，在大公司中，一切都更加复杂。你有更多的人（可能是独立的团队使用相同的数据），整个设置更加交织在一起，代码和编程语言在整个组织中是巨大的。有很多管理层有不同的意见和策略，数据工程工具的变化比任何其他领域都快。

通常，斗争始于管理策略，成为一个更加数据驱动和自私的组织。斗争的范围是消除数据孤岛（Excel 是你的敌人），创造更高的透明度，基于事实的更快决策周期，以及使业务人员更加精通数据。

🚨 无论您朝哪个方向发展，为您的数据战略提供顶级管理支持比以往任何时候都更加重要，这些支持由下而上执行 — 用例驱动，一次从一个部门开始。

如今大中型企业在做什么？

让我们描绘一个典型环境在希望拥有数据驱动战略的大中型企业中的样子。最常见的是，有大型ERP，CRM和其他内部系统保存大部分业务数据。数据旅程的开始主要是较杰出的公司的标准，例如将ERP中的订单和流程的需求与CRM中的客户相关联，将其与来自您网站的用户数据与Google Analytics（分析）相关联。

销售团队正在构建不同的平台，包括许多财务业务规则，从而通过电子邮件发送像素完美的报告。产品团队将所有数据提取到 MS Excel 工作表中，直接在那里添加自定义转换。营销使用第三种工具并使用其自定义 Web 应用程序清理数据。通常，您将更多内部数据锁定在旧版软件或格式中。

在大型组织内处理数据既复杂又不可预测。从表面上看，它可能看起来并不那么具有挑战性。但该领域的每个人都知道，所有不同的解决方案、自定义脚本和代码都会增加技术债务，尤其是在构建它的人离开的情况下。

这些企业经常选择解决更常见的数据架构的选项是：

• 组建新团队以：
• 定制和扩展现有产品和工作流程，或
• 全力以赴使用大型云提供商之一的服务
• 聘请一家了解最新趋势的咨询公司，如果事情进展不顺利😉，可以承担责任

技术采用生命周期：鸿沟

如果我们回顾一下鸿沟，很明显，现代数据堆栈处于创新者和早期采用者的早期市场。大多数现代数据堆栈工具都是全新的;如果幸运的话，你会发现1.0版本。我们可以理解为什么大中型企业还没有采用最新的开源数据工具。

当我们查看Google趋势查询时，我们会看到类似的情况，其中“现代数据堆栈”一词很少在美国以外的地方搜索，而“数据Twitter”（如果您仅在美国搜索，则主要是旧金山。

大型企业通常会忽略这些趋势，直到它们不可避免，企业 IT 采用周期生动地说明了这一点。不过没关系，因为这些企业主要已经遭受了许多遗留和迁移项目的困扰;我们稍后会谈到这一点。

前现代数据堆栈

在大型企业工作时，与需要完成工作的业务人员互动时，我经常听到诸如“