re:Invent 2023 | 三阶段方法来构建数据湖仓库与数据网格

关键字: [Amazon Web Services re:Invent 2023, Dremio, Lakehouse Architecture, Data Mesh Principles, Unified Data Access, Modernize Data Platforms, Open Enterprise Architecture]

本文字数: 900, 阅读完需: 4 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1UQ4y1V7rU

导读

没有人会单独为架构提供资金。当今企业要求更快的转型,以及不断提升客户体验和结果。这场闪电式演讲回顾了架构演变的历史,湖仓(lakehouse)和数据网格/织物(data mesh/fabric)模式都是业务转型的关键促进因素。演讲重点介绍了真实案例,将业务和技术需求结合,采取规范的分阶段方法,更快地交付业务价值,实现更高的TCO节省,并支持未来的灵活性,以继续更快地作出响应。本演示由亚马逊云科技合作伙伴Dremio提供。

演讲精华

以下是小编为您整理的本次演讲的精华，共600字，阅读时间大约是3分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲者在各大公司如Nike、Zendesk、American Eagle和Philips担任数据分析团队领导，积累了丰富的经验。他的职业生涯始于国家安全局，因此在设计数据架构时，安全始终是首要关注的问题之一。近期，在加入Dremio成为首席数据官之后，他被Databricks收购。他选择直接联系Dremio，因为他认为其技术满足了他在数据架构领域的长期需求。

尽管演讲涉及了“lakehouse”和“data mesh”等数据架构热门话题，但演讲者的目的是通过现实生活中的例子和问题来强调这些问题。他指出，过去几年推动数据架构变革的真正动力是为了做出更好、更快的决策以及更好地访问数据资源，而非仅仅为了炫酷的新技术。直到Databricks提出“lakehouse”概念，才引发了重大变革。这种lakehouse方法允许构建更加开放、灵活且与云无关的数据架构，摆脱了受限制的遗产系统。

演讲者承认，许多公司仍在使用Oracle、Teradata和Hadoop等遗产系统进行复杂的数据环境管理，同时也采用多云架构并尝试新的概念如lakehouse和data mesh模式。他强调，需要一个成熟度路径来帮助从这种由遗产和现代系统组成的混乱局面过渡到更协调的数据架构。ETL流程需要向ELT转变，并将更多的权力交给业务用户，通过通用语言如SQL和自动生成的AI来实现。然而，有吸引力的经济利益仍是关键——公司希望通过更少的投入实现更大的产出。

为帮助应对这一变革，他提出了一个三阶段方法：

1. 统一数据访问 - 通过虚拟化轻松访问数据，同时也要关注高性能和正确的数据资产所有权模型。
2. 现代数据平台 - 在这里实现成本节约，将多个遗产系统整合到统一的现代平台中，展示性能优势的价值。

MSK 通过数据虚拟化和网状/湖屋架构消除了 90% 的 Kafka 占用空间。这还为 4 名数据工程师减轻了管理 Kafka 的负担，使他们能够专注于其他工作。

• TransUnion 整合了内部和外部数据源。这使得他们能够在印度和美国为超过 1 亿新近获得资格的人提供资本，这些人以前无法获得这些资源。在这个过程中，他们还节省了 14 个数据工程职位。

• RenaissanceRe 的 S3 和 Dremio 性能相较于传统系统提高了 33 倍。

• 一个财富 50 强客户在基础设施上节省了 12 万美元的成本，同时性能超过了另一个主要的湖屋供应商。

总的来说，关键在于首先实现数据源的抽象以统一访问，然后使用现代平台优化价值，最后逐步实现灵活、开放的企业数据架构。Dremio 提供免费湖屋选项来开始并亲身体验这种方法的价值。该视频通过展示 Dremio 的湖屋和数据虚拟化功能，为逐步现代化数据架构提供了一个令人信服的理由。

下面是一些演讲现场的精彩瞬间：

领导者强调了Snowflake在实现存储和计算分离、提供云无关功能方面的能力，从而为客户提供了优质的体验。

亚马逊云科技的领导者对Databricks创造"湖屋"这一概念表示赞赏，这有助于我们思考开放式架构以及在各种技术间轻松迁移的问题。

通过结合网格和湖屋架构原则，这家公司成功消除了90%的Kafka足迹，并释放了4名数据工程师去探索新的机遇。

亚马逊云科技为全球范围内的亿万农民提供了获得资本的渠道，这些农民此前一直无法获得足够的资金支持。

领导者强调，一个财富50强的客户已经通过使用亚马逊云科技将其基础设施成本降低了12万美元。

领导者呼吁观众亲自尝试亚马逊云科技的湖屋解决方案，以便亲身感受其所带来的优势。

总结

亚马逊云科技在re:Invent上举办了一场由前首席数据官主讲的演讲。他在演讲中探讨了分阶段方法构建现代数据架构的问题。首先，他承认在推进变革的过程中，需要尊重现有的传统系统。接着，演讲者回顾了数据基础设施的发展历程，从早期的数据仓库到Hadoop和云计算数据平台。他强调了湖仓模式的兴起，将数据湖和仓库的最佳特性与开放式格式相结合，从而提供了避免供应商锁定功能的灵活性。然而，大多数组织仍然同时拥有传统和现代系统。

演讲者提出了一种三阶段现代化方法：首先，通过虚拟化提供统一的数据访问接口，以抽象底层来源。这为用户提供了一个共同的界面，同时允许下面的变化。接下来，转向现代化的湖仓模式，提高性能并降低成本。例如，一家客户仅基础设施就节省了12万美元以上。最后，实现开放式的体系结构，以防止锁定，使能在供应商之间切换，并重用代码和数据。这种“企业网”完善了体系结构。

演讲者分享了已经应用此方法的公司的例子，如一家保险公司通过结合内部和外部数据为新的人提供1亿多人获取资本的机会。其他公司消除了重复并释放了工程资源。总之，谨慎地将传统系统演变为灵活的现代数据架构，可以实现性能、成本节约和战略利益。分阶段的方法有助于平衡创新与运营现实。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134868169

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。