re:Invent 2023 | 使用 SFTP 实现托管文件传输的现代化

关键字: [Amazon Web Services re:Invent 2023, Amazon Transfer Family, Cloud Native Mft, Amazon Transfer Family, Secure File Transfer, Managed File Transfer, Sftp Connector]

本文字数: 2300, 阅读完需: 12 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Du4y1c7Fh

导读

管理文件传输的成本很高，因为您需要维护基础架构、许可证、资源，并不断满足法规和业务需求的变化。在本环节中，您将了解 Amazon Transfer Family 如何通过 SFTP 和 AS2 等协议提供全面管理的高可用性文件传输。Transfer Family 有助于确保您的数据按时到达、安全和合规，并确保性能和成本随着工作流程的增长而扩展。在了解这些优势的同时，您还可以考虑如何打破数据孤岛，让资源专注于为业务增加其他价值。

演讲精华

以下是小编为您整理的本次演讲的精华，共2000字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲从评估听众对托管文件传输（MFT）解决方案的熟悉程度开始。他询问在座的人员中有多少人在他们的组织中使用或负责MFT，许多人纷纷举手。当问到有谁使用SFTP、FTP和AS2等协议进行企业间通信时，同样的情况也发生了。他还询问是否有来自需要从不同来源访问数据的应用程序开发团队的人员，部分与会者表示他们是。最后，他询问帮助客户构建MFT解决方案的合作伙伴是否在场，也有一些人手举起。

演讲者向观众保证他们来到了正确的场所，因为他的同事都是致力于提供关于构建云原生MFT架构的指导的专家。具体来说，他们希望能够展示如何消除安全文件传输的额外开销和管理，同时满足合规需求。最重要的是，他们将会展示如何在不同的数据集之间消除数据孤岛。

演讲者表示，由于议程非常紧凑，所以演讲的节奏会很快。首先，他将解释为什么组织使用MFT并概述一些关键用例。接下来，他将讨论为什么随着业务需求的演变，云原生MFT变得越来越重要，甚至可以说是一个必要条件。然后，他的同事将深入探讨亚马逊云科技Transfer Family MFT产品的一系列功能，紧接着将进行一个或两个展示该服务的实况演示。演讲者还提到他激动地要分享关于刚刚推出的名为B2B Data Interchange for EDI的亚马逊云科技服务的详细信息。最后，他们将以问答环节作为演讲的结束。

在过渡到基础知识部分，演讲者询问将应用程序迁移到云端的最大动力之一是什么。他表示客户经常提到数据，以及通过将其投入工作来更智能地利用它。这包括在他们自己的环境或业务伙伴的环境中从应用程序生成的数据。为了利用这些数据，需要一个强大的数据策略，包括三个主要元素。

在进行特定使用案例的研究时，需要获取正确的分析工具。这些工具应具备全面的数据集功能。其次，需要集成多种连接选项和协议，以便无论数据位于何处或采用何种接口，都能访问数据。关键在于能够访问不同类型的数据集。第三点是治理问题，尤其是对于负责云卓越中心的员工而言，他们需要确保遵循最佳实践、指南和治理策略。

在现代基于云的数据架构中，还有一些关键要素。所有这些元素都在圆形图中有所描述。数据湖位于中心，需要有能力按指数级别扩展，以防止成本上升。围绕数据湖的是各种专门为特定目的构建的数据湖服务，可供不同用户（如数据科学家、业务分析人员和业务用户）访问。实现无缝、安全、高性能且经济高效的数据移动至关重要。最重要的是确保适当的访问控制和审计。演讲者们强调他们将关注作为MFT一部分的无缝数据移动。

以下是一些常见的MFT用例，但演讲者指出这并不是一个详尽无遗的列表。例如，许多客户需要在像医疗保健、金融服务、制药和公用事业这样的行业中遵循合规规则的监管数据。另一个用例是与SAP等流行的ERP系统集成，以处理采购订单、发货通知和库存报告等事项。为客户提供增值数据集的内容分发也很重要，因此能够在广泛分发的同时限制未经授权的访问。制造商需要摄入来自设备的遥测数据，所以无缝传输这些数据非常重要。

在与客户的讨论中，已经出现了一些关于MFT的明确趋势和挑战。首先是日益增长的数据安全和可见性的需求，这受到了网络攻击（如勒索软件）的影响。另一个趋势是在全球业务合作伙伴关系不断发展的同时，跨更多协议和位置交换数据。这与下一个打破数据孤岛以实现更全面分析的趋势有关。最后，随着数据量的扩大，降低成本的同时提高可扩展性和恢复力变得至关重要。

亚马逊云科技的Transfer Family在此方面发挥着关键作用。它提供一个云原生MFT服务，帮助客户在满足安全和合规需求的同时，通过消除基础设施管理来迁移这一重要的工作负载。其目标是让IT团队不再承担MFT运营的负担，而是利用云规模的可用性、弹性、安全性和按需付费定价。

Transfer Family与亚马逊云科技的云存储集成，这意味着数据可以原封不动地存放在Amazon S3和EFS中。这使得它可以立即用于应用程序开发和分析使用情形。该服务具有三个主要优势。首先是无需管理的基础设施，即作为易于配置的基础设施代码提供的服务器。其次，由于减少了业务合作伙伴的影响，因此可以维持现有工作流程。第三是释放云数据存储和分析的潜力。

该服务以托管的SFTP服务器选项启动。今年，添加了SFTP客户端连接器，以支持从远程SFTP服务器管理的文件传输功能。演讲者解释道，通过这种双向传输，亚马逊现在可以提供全面的MFT需求——无论是服务器还是客户端。

目前，全球数千家企业客户在使用Transfer Family，涵盖许多行业。例如，一家金融服务公司需要一个无法扩展、引发安全风险、需要大量维护且运行许可成本高昂的内部MFT解决方案。他们需要扩展功能，但遗留系统限制了它们。通过在亚马逊云科技的Transfer Family上构建自己的文件传输服务RTS，他们能够满足业务需求。

这个新解决方案让他们能够为内部用户和数千名外部用户同时支持Web和SFTP客户端。还可以处理基于密码或SSH密钥的身份验证。通过迁移到Transfer Family，他们将总体成本降低了80%，尤其是存储成本降低了90%。这家公司获得了一个强大、可扩展且符合GxP规程（适用于制药行业）的文件传输服务。演讲者鼓励与会者阅读完整的案例研究，以了解更多成功故事。

对于那些没有内部开发团队的人，亚马逊云科技合作伙伴可以提供帮助，以利用Transfer Family进行MFT项目。演讲者列出了几家参与合作的合作伙伴并表示感激。

在深入研究该服务功能的过程中，发言人同事接过了话题。他指出，除了传输家族外，一个完整的MFT解决方案还需要额外的亚马逊云科技服务。简单来说，MFT通过如SFTP等协议在企业间传输文件。然而，所需的额外功能包括认证、授权、自动化和集中式日志记录/监控。

亚马逊云科技根据相同的支柱对其传输家族功能进行分类：连接性、认证与访问控制、自动化和可观察性。其中，连接性是主要支柱，专注于支持多种协议并不断添加更多，同时鼓励与会者提交建议的协议。网络安全选项也在本部分中得到强调。

2022年7月，亚马逊云科技推出了SFTP连接器，支持托管客户端传输。例如，一个应用程序通过SFTP将数据馈送到客户的系统中。尽管已经38岁，但由于其跨操作系统的通用性，SFTP仍然广受欢迎。一旦文件被上传，会自动处理数据，如扫描或丰富化，以便业务使用。连接器通过调用API/CLI来促进这一过程，最终将数据存储在Amazon S3中。

在服务器端，提供多种认证选项，包括基于本机的密码认证以及与亚马逊云科技目录服务的集成，以使用Microsoft AD凭据。对于外部身份提供者（如Okta），可以触发一个Lambda函数来处理认证事件，甚至可以通过API网关前端保护来防止WAF攻击。

最近，还推出了一种新的多因素认证（MFA）选项。它可以结合密码和基于公钥的认证，符合开源的“键盘交互”标准。客户端最初提供SSH密钥，但在交互会话中，服务器仍会提示输入密码。

细致的访问控制对于安全地分发大型数据集至关重要。SFTP用户应只能查看他们需要的文件夹，而不是整个桶。传输家族使得将用户绑定到IAM角色以设置基本访问权限成为可能。从此处开始，逻辑目录提供了一个友好的别名，映射到S3前缀，以将访问细化到特定文件夹。逻辑目录还将用户chroot到防止逃出定义的路径。

网络安全依然是MFT领域的一个热门议题。起初，Transfer Family服务器拥有通过公共互联网端点进行故障切换和扩展的能力。然而，客户希望能够对源IP访问拥有更多的控制权。因此，引入了VPC端点，将服务器直接纳入客户的VPC中进行隔离。端点可以是面向互联网的也可以是私有的，横跨多个AZ以实现高可用性。

一些客户因为监管需求而需要使用非标准端口。两个月前，Transfer Family增加了对配置VPC托管的服务器的支持，以便能够监听端口2222和/或22，从而提供对抗常见端口扫描的模糊性。网络防火墙或VPC安全组可以进一步限制访问。

自动化是云原生MFT的核心要素。文件摄取会触发事件驱动的流程以进行额外处理，如扫描恶意软件。Transfer Family内置的工作流可以执行操作，如创建存档副本或使用在服务器或用户级别管理的密钥对加密文件进行PGP解密。自定义工作流程可以调用Lambda函数以执行所需的任何自定义逻辑。

例如，一位演讲者的同事展示了一个使用Lambda调用ClamAV来扫描新文件的流程。如果检测到任何恶意软件，对象标签就会指示文件是不安全的。存储段策略可以根据这些标签阻止下游访问。

亚马逊云科技近期推出了B2B数据交换，这是一项新的EDI服务，可以将发票等EDI文档转换为JSON/XML格式。它可以与Transfer Family无缝协作，但也支持直接从任何来源将文件直接传输到S3存储桶中。EventBridge规则会自动激活以拾取新文件并将其输入到Data Interchange进行处理。

经过上述背景介绍之后，演讲者的同事开始了现场演示。他登录为一个用户并上传一个PGP加密的文件以模拟从业务伙伴接收敏感数据。上传时，预先配置的PGP解密工作流程会自动触发，将解密的内容存储到不同的S3位置。

然后切换到另一个代表此数据订阅者的用户帐户，演示显示了访问和下载解密文件。尝试将此文件上传到订阅者文件夹将会失败，原因是访问策略阻止写入。这展示了Transfer Family所支持的发布者/订阅者分离。

为了模拟将数据发送到外部系统，连接器已被配置为将文件传输到另一个SFTP服务器。演示过程展示了启动传输、验证文件到达以及根据该服务器的工作流程自动扫描恶意软件的过程。最后，通过发送样本EDI文档并查看自动转换结果，展示了B2B数据交换流程。

总的来说，实时演示包括了以下几个方面：

• 带有PGP解密工作流程的SFTP上传
• 发布者与订阅者之间的基于角色的访问控制
• 通过连接器集成向外发送文件
• 与B2B数据交换集成以处理EDI业务

演讲结束时强调，亚马逊云科技传输家族在全球范围内可用，符合常见的合规标准，如PCI和HIPAA，且拥有大量的文档和培训资源。在re:Invent上，强调了几个实践机会，以便进行实际操作体验。此外，还推广了架构粉笔讲座和B2B数据交换分组讨论。

总之，演讲者有效地传达了亚马逊云科技传输家族如何帮助企业实现云原生管理的文件传输，具备自动化、安全和可扩展性。与其他亚马逊云科技服务的集成允许构建针对特定使用情况的完整MFT解决方案，同时消除基础设施管理负担。任何目前依赖传统本地产品进行MFT工作负载的组织都应该充分考虑迁移的优势，基于所展示的趋势和客户成功案例。

下面是一些演讲现场的精彩瞬间：

史密斯（Smith）和罗斯·博伊尔（Russ Boyer）详细阐述了如何构建一个云原生管理文件传输系统，旨在减少开支、消除数据孤岛并确保合规性。

他们强调了在当今数据架构中实现数据无缝且安全迁移的重要性和价值。

借助亚马逊云科技（Amazon Web Services）的Transfer Family，企业可以在内部服务器和亚马逊云科技之间安全地传输数PB规模的数据，从而降低成本、提高弹性和可扩展性以及降低运营开销。

随着SFTP连接器的推出，现在可以实现SFTP服务器和Amazon S3之间安全和受控的文件传输。

Transfer Family Server还支持自动处理MFT数据，内置的工作流程包括创建副本、扫描文件和在抵达时对加密文件进行PGP解密。

此外，演讲者还强调了亚马逊云科技的丰富营销资源以及学习教育创新的机会。

总结

Amazon Web Services (亚马逊云科技)的Transfer Family为发行者和订阅者用户提供了双向文件传输、上传文件的自动化处理和防病毒扫描功能，并支持使用安全文件传输协议（SFTP）将文件发送到其他系统。此外，该服务还支持自动转换电子数据交互（EDI）文档的新B2B数据交换服务。

总的来说，Amazon Transfer Family提供了一个完全托管且安全的解决方案，以实现将企业内部的多重功能文件传输（MFT）工作负载迁移至云端。该服务具有可扩展性、可用性、集成和自动化等优势，从而简化了MFT的实现过程。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134789325

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。