现代数据栈MDS的主要特征

Dazdata MDS

有兴趣利用原有数据做更多事情的公司会爆发式增长，数据已成为几乎每个企业的游戏名称，因为公司和组织正在寻找更多方法来保持领先地位并识别过去的错误。未来五年将看到数据革命推动的数字化转型，企业的发展和更新速度比以往任何时候都快。适应和改变的唯一方法是使用数据并使用预测模型和AI / ML环顾四周。这些因素将区分新数字经济中的赢家和输家。

数据管理正在从分析优先战略转变为基于结果的战略，这意味着数据现在是动态的，面向流的，并通过流程和机器学习模型进行编排。数据堆栈从数据结构扩展到数据网络，数据管理将是集中和超本地化的，以创建即时智能和体验。解决方案架构越来越依赖于生态系统和功能集合中的消息传递、网关、API 和微服务，群体智能和智能城市用例就是这样的例子。网络架构将成为明天的数据架构。

数据堆栈的民主化 数据集成公司Fivetran的首席执行官George Fraser表示，最近一波数据管理简化浪潮是一个非常重要的趋势。

他解释说，就在五年前，像Netflix这样有兴趣更好地管理大量数据的公司不得不做大量的繁重工作，雇用大量数据工程师，并在令人印象深刻的开源技术上投资数百万美元。如今，其中大部分可以通过订阅其中一个高端数据仓库来实现。

“数据管理变得越来越容易，我认为这是重要的，也是一件好事。基本组件的成本已经下降，但人们确实在利用数据做更多的事情，“他说。

“一些分析师可以完成五年前Netflix必须投资10万美元的事情，这很酷。它使不太复杂的公司和不在发达地区的公司可以使用它，普通人可以做这些事情，这是一件好事。

公司迁移到云并采用多云 数据集成公司Xplenty的首席执行官Donal Tobin表示，越来越多的大公司对云计算表现出兴趣，特别是在分析等方面。

“我们看到的是，多云也绝对令人感兴趣。能够在任何大型云播放器中启动您的平台正变得越来越重要，“托宾说。“客户想要这样，他们不喜欢被绑定到任何一个解决方案或一个平台的想法。

EnterpriseDB首席技术官Marc Linster解释说，整个行业正在向云转变，因为云允许快速灵活调整容量，并减少冗长的配置周期以及前期许可证投资。作为数字化转型战略的一部分，灵活调整能力以满足需求的能力是快速响应的关键。

来自谷歌云的Saha表示，初创公司和数字原生公司是第一个采用云的公司，但随着我们进入2021年，更多的传统企业正在采用云平台。

“人们讨厌管理他们的数据中心，因为它们很昂贵，”他说。“他们实际上觉得更安全的是，云在安全、隐私和数据治理方面投入了更多。

不幸的是，冠状病毒大流行使各行各业的企业别无选择，只能采用数字系统和云平台来满足需求。

“它基本上加速了这一数字化转型挑战，我认为展望未来，无论人们有什么犹豫，我们在这一点上都已经过去了，”萨哈说。

谷歌支持的数据分析公司Looker的首席分析官科林·齐马（Colin Zima）表示，许多客户要求公司能够与许多不同类型的数据集和云提供商合作。

但除了区域法规之外，大多数公司只是对将数据保存在多个地方感兴趣。

“你不能把所有东西都放在一个地方，因为你需要备份，你需要冗余。因此，即使在Looker，在我们被谷歌收购之前，我们在亚马逊也有备份。我们在谷歌有备份，在微软有其他备份，这种互连正在变得正常，“齐马说。

Netdata高级机器学习工程师Andy Maguire表示，真正需要的是一个可以跨越多个云的联合数据湖。

“例如，如果你的点击流数据在Google BigQuery中，你的核心生产应用程序和日志在亚马逊网络服务（AWS）中，那么在网络入口和出口方面，将所有数据集中在谷歌云平台（GCP）或AWS或某些供应商的平台上可能太昂贵了。相反，我们需要学会应对多云的复杂性以及如何最好地驾驭它，“他说。

探索数据的预测价值 没有数据背景的企业越来越意识到它对预测性操作的用处。Gartner高级研究总监Joe Maguire表示，在2020年和2021年，没有内部AI / ML技能的企业将越来越多地受益于供应商产品中嵌入的AI / ML功能。

“将数据、数据科学和 ML 管道与应用程序部署过程保持一致，对于在基于 AI 的解决方案中持续交付和持续集成定期增强的 ML 模型至关重要。这需要利用 DataOps、MLOps 和 Platform Ops for AI 来扩展 AI 架构。因此，用于操作AI的AI编排平台正在出现，“他说。

谷歌云的萨哈说，这不仅仅是查看你上个季度或上周的数据，并试图弄清楚过去发生了什么。

“这是关于查看正在进入的事件流并实时采取行动，”他说。“拥有实时分析将非常重要。人们非常有兴趣环顾四周并预测将要发生的事情。如果您能比其他人更快地从数据中获取价值，并且您创造了真正的差异化价值。这就是为什么人们对预测分析和预测模型如此感兴趣。

人工智能和机器学习的使用增加 BMC Software首席产品官Ali Siddiqui指出，现代数据堆栈未来的一个关键要素将是包含AI/ML驱动的智能和预测分析功能，利用广泛的历史和实时数据。

他说，在IT运营管理领域，这涉及分析数据，包括指标，事件，日志，拓扑，事件和更改，并且需要开放的平台，并且可以集成来自无数工具和技术的数据，并补充说，堆栈还需要支持混合客户来自本地数据中心基础设施和应用程序以及多个云资产的数据。

Siddiqui说：“随着企业发展成为自主的数字企业，它不仅仅是从数据分析中获得额外的洞察力，而是越来越多地关注可操作性，并能够在可能的情况下采取自动化行动。

“随着一年的不可预测性过去，企业在使技术堆栈可靠和主动时将不得不期待意想不到的事情。我们将看到对AIOps的需求继续增长，因为它可以使用AI，ML和预测分析来解决和预测这些意外情况。

人工智能和机器学习的注入已经成为一切的一部分，Saha谈到谷歌云时说。这些工具广泛用于通过执行自动缩放、自动修复、自动优化等来管理基础架构。

“人们，普通商业用户，使用AI / ML做非凡事情的方式，将改变未来企业的运营方式，”他说，并补充说谷歌正在寻找进一步民主化人工智能和机器学习的方法，以便那些没有数据背景的人可以通过简单的电子表格访问它。

“明年还将有更多的增强分析，你将看到越来越多的人工智能和机器学习被整合到人们的自然业务工作流程中。现代 BI 就是在数据资产之上创建数据 API，然后将仪表板和工作流集成到业务应用程序中。

Zima表示，对人工智能和机器学习的兴趣已经显示出希望，并将在未来更加广泛。

“我们开始看到人们实际上为内部使用构建这些数据产品。我们与几个流媒体服务合作，其中一个构建了一个数据产品，我通常使用它，因为它实际上是工作表下方的仪表板，但您实际上浏览标题，就像在流媒体服务中一样。所以它有产品所有徽标的图标，并且支持触摸，但你点击它，你钻取以获取有关它的指标，“Zima说。

“他们正在提供类似产品的体验，我看到这种情况越来越多。建造这些东西的成本更高。但我认为，你将越来越多地看到为内部使用而构建的数据产品。

对锁定数据的担忧 一些专家表示担心，一些数据领域的知名企业将开始将其数据锁定在竞争对手平台之外。

“我一直最担心的是人们越来越多地使用这些SaaS工具。普通公司拥有大量的SaaS工具，并且所有这些工具都有数据锁定。所以Salesforce有一些销售数据，但Slack有聊天数据，你有所有这些保存数据集的系统，“Zima说。

“我最担心的是，这些服务将开始尝试更多地锁定其数据。Salesforce刚刚收购了Slack，他们有了Tableau。而且我总是害怕这些数据无法用于其他产品或服务。

OutSystems的首席营销官Robson Grieve回应了这些担忧，并表示由于SaaS应用程序是一刀切的，不允许任何形式的差异化或定制，我们可能会看到一波有远见的公司 - 那些采用更现代的应用程序平台方法的公司 - 抛弃这种过时的模型来构建自己的应用程序，以实现真正的差异化并在此过程中节省大量资金。

但是，尽管这种担忧是真实的，但其他专家表示，客户对被某些供应商困住的担忧将迫使他们保持数据在某种程度上开放。

Actian产品营销高级总监Lewis Carr表示：“试图成为满足所有底层数据和云数据仓库需求的一站式商店的分析工具也将面临挑战，因为客户将对供应商锁定持谨慎态度。“为了使现代数据堆栈发挥作用，它需要向所有原始来源、分析和可视化目的地开放。

数据堆栈的安全需求 几乎每个行业都在进行网络安全清算，数据管理也不例外。来自Google Cloud的Saha表示，越来越多的客户要求在数据的各个不同部分建立统一的端到端数据治理结构。

数据集成公司Xplenty的首席执行官Donal Tobin表示，公司“本质上是在数据仓库中制造一颗定时炸弹”。他说，客户正在寻找有关数据安全的更多信息，以至于像Xplenty 这样的公司现在正在强调他们的加密功能，以向客户保证他们的数据是安全的。

“我认为这是你看到的最大变化之一，人们现在，就像过去三到六个月一样，开始意识到这一点并认真对待它，”他说