re:Invent 2023 | SnapLogic和Amazon Redshift改变了Lumeris的洞察力

关键字: [Amazon Web Services re:Invent 2023, SnapLogic, Data Loading Framework, Data Pipeline Automation, Real Time Data Insights, Legacy System Data Integration, Cloud Data Platform]

本文字数: 900, 阅读完需: 4 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Sc411k7o9

导读

在这个闪电演讲中,了解如何加速可共享数据产品的创建。SnapLogic是一家智能集成平台公司,Lumeris是一家为医疗系统和医生团体提供基于价值的医疗服务的合作伙伴,他们将带领您了解一个旨在重振和加强Lumeris人工智能驱动的数据和分析能力的计划的演变。听听他们是如何实现加速的响应时间和基于信息的数据驱动的临床点医疗决策的。获取有关推动他们计划的最佳实践和方法的战略见解。了解Lumeris如何以必要的资源赋能数据和分析团队,使他们能够在几分钟内创建自定义数据集。这个演示由SnapLogic提供,SnapLogic是亚马逊云科技的合作伙伴。

演讲精华

以下是小编为您整理的本次演讲的精华，共600字，阅读时间大约是3分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

鲁梅里斯公司在基于价值的医疗保健领域占据重要地位，在全国超过12个市场上管理着超过120亿美元的医疗支出。与传统保险不同，鲁梅里斯通过管理端到端的医疗保健服务与客户共享风险和回报。借助在人口和个人层面提取数据洞察的能力，鲁梅里斯提供改进结果和降低成本的具体建议。例如，通过分析预测高风险人群的数据，他们能够指导医生提前干预以避免紧急护理。

鲁梅里斯首席架构师Kisho具备横跨金融、教育和医疗保健等行业的数十年经验，是一位致力于推动变革的实践数据策略多云专家。他的同事Pag是Lumeris的副架构师，他在数据管理方面拥有超过20年的经验，并被评为美国第三名最佳乒乓球选手。

正如当今大多数公司一样，鲁梅里斯在从传统内部系统向云原生技术过渡时遇到了挑战。他们的数据科学家和分析员通常需要等待2-3周才能从内部数据库中获得所需的数据。等到数据终于准备好时，机会已经错过了。为了克服这一挑战，鲁梅里斯开发了项目Fuse，这是一个创新的数据管道框架，基于SnapLogic集成平台构建。

项目Fuse从多个来源提取数据，包括内部SQL Server、云端的Postgres、AmazonAmazon DynamoDB、AmazonS3和Salesforce。然后它将数据加载到Amazon Redshift中进行分析，同时沿途执行关键的数据映射、验证、错误处理和日志记录。令人印象深刻的是，鲁梅里斯在一个周末内建成了核心框架，并在不到一个月内完成了整个解决方案，仅使用了1.5个兼职资源。

项目Fuse数据管道框架采用了模块化的即插即用架构，可以轻松添加新的源和目标。配置是基于元数据的，使得分析员和数据科学家可以自己快速加载需求的数据，无需IT部门的帮助。这将将洞察力的时间从3周缩短到短短2分钟，生产力提高了10倍。目前，项目Fuse可以在15分钟内将来自内部系统的超过50万行数据加载到Redshift中。

在幕后，Project Fuse所具备的功能远远超出了简单的数据迁移。它支持针对每个表格定制的数据验证规则，以确保数据的完整性。根据严重程度，系统自动生成警告和错误报告，并将它们发送给相应的支持团队。详细的加载日志记录了成功、失败、性能和统计信息。此外，Project Fuse还负责协调多步骤的数据处理管道。

通过采用SnapLogic驱动的Project Fuse，Lumeris已经改变了他们从数据中获取价值的方式。现在的分析团队能够更快速地访问可靠的数据，从而挖掘出更多的洞察。他们不再需要等待数据而错失良机，而是能够预测高风险人群并指导实现更好的成果。Lumeris建立Project Fuse的速度展示了SnapLogic帮助公司快速应对复杂数据挑战的能力。

Project Fuse展示了如何通过灵活、可扩展的数据管道将数据从旧的系统迁移到现代的云平台上。对Lumeris来说，这充分发挥了其数据的所有潜力，将原始数据加速转化为有价值的见解，从而改善了人们的生活。Lumeris的医疗保健专业知识与SnapLogic的集成专业知识相结合，强调了将正确的数据与正确的工具结合以推动数字化转型的巨大潜力。

这段视频提供了一个引人入胜的例子，说明了如何经过深思熟虑的数据集成可以释放数据驱动的创新。对于像Lumeris这样在边缘地区经营的医疗保健提供商来说，利用数据分析对于业务和实现更好的成果至关重要。通过Project Fuse，Lumeris取得了竞争优势。正确的数据管道基础使得医疗保健行业可以更专注于见解而非数据整理。

下面是一些演讲现场的精彩瞬间：

帕格，一位来自Lumer公司的助理建筑师，拥有超过20年的数据管理经验，还是美国顶级K级玩家之一。

Lumer作为基于价值的健康保健领域的领导者，负责管理横跨12个美国市场的120亿美元医疗支出。

帕格分享了他们公司如何通过分析大量数据，在个人和人口层面上提供改进医疗保健的见解。

为了解决传统数据管道的挑战，该公司设计了一个快速为分析师和数据科学家提供数据访问的框架。

此外，他们还提到了名为Fuse的项目，该项目旨在将数据从内部系统释放到云端，以实现更快速的洞察力。

这个框架的核心内容在短短一个周末内便完成了。

总结

Kisho和Pag，两位来自Lumeris的专家，分享了他们如何利用SnapLogic技术开发出名为Project Fuse的数据集成框架的过程。这个框架使得他们能够将大量的医疗保健数据从内部系统高效地加载到亚马逊云科技云中。他们面临的主要挑战是解决长时间等待（长达2-3周）的数据分析和数据加载问题，以及无法满足数据科学家临时数据需求的问题。

Project Fuse通过提供可配置的元数据驱动管道解决了这些问题。这些管道可以实时将来自不同来源（如SQL Server、Postgres、DynamoDB和Salesforce）的数据加载到Amazon Redshift中。该框架具有许多独特功能，如跨源和目标的自动类型转换、飞行中数据验证、错误处理、下游过程的依赖链以及完整的审计和日志记录。

在短短一个月内，Lumeris使用这个模块化的框架开发了插件，使其能够在15分钟内加载超过50万行数据，并将加载新数据集的时间从几周缩短到几分钟。这使得数据科学家能够在没有IT部门介入的情况下自主提供服务。

总的来说，Lumeris通过使用SnapLogic技术，实现了一个敏捷且元数据驱动的数据集成框架，从而解锁了内部数据，实现了实时云分析，并显著提高了生产力。

演讲原文

https://blog.csdn.net/just2gooo/article/details/135120112

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键查看 re:Invent 2023 所有热门发布

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。