重塑平台以实现创新：高盛的大型机现代化改造

重塑平台以实现创新：高盛的大型机现代化改造

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Invest 1， Cloud Migration， Mainframe Modernization， Emulator Approach， Event-Driven Architecture， Automated Workflows]

导读

高盛资产管理账簿InvestOne是其中台业务的核心，负责计算和维护其投资组合头寸。在本次会议中，高盛将介绍他们如何迁移这个关键的大型机系统，同时克服规模、成本和技术债务等挑战。深入了解他们的COBOL开发和部署框架，以及如何在不影响对客户和业务承诺的前提下加速迁移。了解他们的平台如何利用Amazon EBS、Amazon Elastic Disaster Recovery和Amazon RDS确保可扩展性、可用性和安全性，并为未来的迁移奠定基础。

演讲精华

以下是小编为您整理的本次演讲的精华。

在金融实力与技术创新交织的领域，高盛着手重塑其平台，开启了新的可能性。这一努力的核心是现代化其大型机系统的关键挑战，这需要坚定的决心和技术专长。在亚马逊云科技 re:Invent 2024开幕时，高盛董事总经理Victor Balta和Technology Fellow Yitz Lerner讲述了一个引人入胜的故事。

故事从Victor Balta阐述高盛资产管理部门开始，这个部门监管着2万亿美元的资产。这个全球领先的主动资产管理部门包括两个不同的领域:公共领域，包括固定收益、货币市场和ETF等标准产品，服务于机构投资者和养老基金;另一个是另类领域，包括私人市场、流动性另类策略以及私人信贷、股权、生命科学和房地产等多元化产品。

在这复杂的结构中，工程组织发挥着关键作用，通过投资和投资组合服务、Client Servicing以及数据、平台和服务三大支柱，支持公共和另类领域。投资和投资组合服务部门成为焦点，Balta深入探讨了投资账簿记录(IBOR)系统的细节。

IBOR系统是高盛运营的关键组成部分，它将FIS的Invest 1供应商软件和高盛专有的COBOL编排层完美结合，两者都运行在大型机上。该系统处理许多重要功能，包括投资组合核算、交易处理、计算以及创建影子账簿——跨多个托管人的头寸和交易的综合视图，这对于与40多个托管人互动的买方资产管理人来说至关重要。

然而，随着时间的推移，大型机系统面临着诸多挑战。高昂的成本、集成的复杂性以及COBOL开发人员日益稀缺只是其中的一些障碍。但最紧迫的问题是系统无法水平扩展以适应业务每年30%的惊人增长率。显然，需要一种变革性的解决方案来推动高盛步入未来，同时保持运营的完整性。

在评估了重写COBOL编排层、优化大型机代码以及迁移到供应商的非大型机版本等各种选择后，高盛采取了一种务实的方法:在模拟器上运行该系统，并将其提升和转移到亚马逊云科技云端。

在这一时刻，Yitz Lerner接过了叙事的接力棒，深入探讨了大型机遗留设计的技术细节以及在亚马逊云科技上重新构建的架构。他阐明了大型机的整体性质，包括操作系统、文件存储(DB2、VSAM、平面文件)、服务层(CICS区域、TSO、接口)、Invest 1核心应用程序、高盛的编排层、调度程序和软件开发生命周期(SDLC)。

Lerner强调了指导现代化努力的非功能性需求，如可扩展性以适应业务增长、4小时恢复时间目标(RTO)和15分钟恢复点目标(RPO)的弹性，以及无需依赖高盛内部CI/CD管道即可恢复到次要区域的能力。

重新构建的设计以NTT Data提供的模拟器作为COBOL运行时环境。Lerner阐述了重新平台化的方法，其中应用程序逻辑和二进制文件保持不变，但底层基础设施发生了转变。新架构涉及从整体大型机设计中提取数据库(RDS)、调度程序(单独的供应商应用程序)和各种实用程序，而核心应用程序(Invest 1核心和高盛的编排层)和特定于大型机的文件(VSAM、平面文件)将在Linux操作系统内的模拟器上运行。

Lerner详细阐述了基础设施设计，包括使用共享VPC、用于客户数据保护的子网、用于模拟器和其他组件的自动扩展组，以及与Lambda、CloudWatch、SNS和SSM等亚马逊云科技服务的无缝集成，用于自动化、日志记录和错误处理。入站文件传输过程利用Lambda函数调用SSM自动化，后者会记录到CloudWatch，从参数存储中检索参数，并启动适当的SSM自动化。然后，该自动化会记录到CloudWatch，创建一个命令登录模拟器，从S3检索文件，将其放置在EBS卷上，触发调度程序事件，并将完成情况记录到CloudWatch。如果发生任何错误，SNS主题将通知PagerDuty(高盛的呼叫管理系统)。

出站文件传输过程遵循类似的模式，模拟器会触发事件。它会记录到CloudWatch，然后使用mTLS与高盛证书的sidecar进程将与GS代理和SFX(安全文件交换)通信以传输文件，并将任何失败记录到SNS和PagerDuty。

用于诸如日终通知等事件的入站信号过程更加简单，利用Lambda访问API端点并记录到CloudWatch，访问权限通过SSM控制，防止支持团队直接访问。

入站和出站文件传输使用SSM自动化进行自动化，利用S3、CloudWatch日志记录和SNS通知进行错误处理。Lerner强调了团队实施自定义SDLC解决方案的做法，利用Nix、Coder、VS Code和GitLab等工具支持跨开发、UAT和生产环境的COBOL开发工作流程。

Lerner阐明了管理具有不同成本的多个环境的方法，通过令牌化和利用Amazon CDK和高盛的FastTrack基础设施设计实现。这使得能够高效地启动具有显著不同成本配置文件的环境，从而实现敏捷性和成本优化。例如，三个环境占总成本的85%，而其余七个环境仅占10%，有些环境的成本甚至比较大的环境低20倍。这是通过令牌化代码并调整参数(如RDS实例的IOPS，从高性能环境的64，000到较低成本环境的3，000)来实现的。

为了证明高盛对数据安全的不懈努力，Lerner揭示了生产环境和UAT环境之间安全数据传输的过程。这个复杂的过程涉及三个密钥、三个快照和三个步骤。生产环境拥有管理其EBS卷和RDS实例的私钥，而UAT环境拥有单独的私钥。每晚维护作业会使用生产密钥创建快照，将其复制到第二个快照(使用仅通过IaC可访问的共享密钥)，然后运营团队成员会承担提升的角色，与UAT账户共享第二个快照。最后，UAT账户会将共享的快照复制到第三个快照(使用自己的密钥加密)，从而能够为UAT环境创建新卷。

当叙事达到高潮时，Victor Balta分享了在这一变革过程中汲取的宝贵经验教训。他强调保持一致的数据接口、最小化变更的影响范围以及采用务实的方法提升和转移运营的重要性。Balta还对亚马逊云科技和高盛团队表示感谢，他们的不懈支持和专业知识对项目的成功至关重要。

在金融科技的年代，高盛的大型机现代化之旅见证了创新、弹性和坚定决心的力量。通过采用云端和利用亚马逊云科技的能力，他们不仅重塑了平台，还为未来的增长和敏捷性铺平了道路。这个故事将成为组织在寻求解决遗留系统复杂性并在不断发展的数字景观中开启新可能性的过程中的一个启示。

下面是一些演讲现场的精彩瞬间：

客户有令人信服的商业理由将其大型机迁移和现代化到云端，但这个过程复杂且存在固有的挑战和风险。

高盛分享了将其关键业务大型机工作负载Invest 1迁移和现代化到亚马逊云科技云端的历程，重点介绍了挑战、遗留设计、重新构建的架构以及经验教训。

探讨了大型机独特的文件存储功能，包括VSAM和平面文件，以及传统的关系数据库如DB2。

演讲者解释了一个投资应用程序的架构，强调了其事件驱动的性质和经过30年构建的编排层。

由于高盛的内部CI/CD系统仅使用一个亚马逊云科技区域，限制了他们实现所需的RTO和RPO的能力，因此他们的恢复模型无法依赖CI/CD。

重点介绍了Invest 1应用程序的核心组件，包括供应商应用程序、投资ETL和特定于大型机的文件，而其他组件如数据库、监控和实用程序则被分离或移除。

总结

在这场精彩的演讲中，高盛公司的Victor Balta和Yitz Lerner分享了他们将关键的大型机应用程序Invest 1现代化并重新部署到亚马逊云科技的经历。他们涵盖的重点如下:

1. 高盛面临着遗留大型机系统的挑战，包括供应商迁移、高昂成本、集成复杂性以及无法水平扩展以支持业务增长。
2. 他们采用了实用的重新部署方法，将应用程序迁移到NTT Data提供的模拟器上运行，而无需更改应用程序逻辑或二进制文件。
3. 新架构利用了亚马逊云科技服务，如EC2、EBS、RDS、Lambda和SSM，来复制大型机功能，同时将数据库、调度程序和实用程序等组件提取为独立的服务。
4. 他们实施了健壮的数据传输机制，利用SFX和MQ，以确保弹性并满足恢复时间目标(RTO)和恢复点目标(RPO)的要求。
5. 对于软件开发生命周期(SDLC)，他们使用Nix、Coder、VS Code和GitLab等工具构建了自定义解决方案，使COBOL开发人员能够在新环境中高效工作。
6. 他们采用了令牌化和FastTrack等技术来管理具有不同成本的多个环境，从而实现高效的测试和开发。
7. 通过涉及快照和密钥管理的多步骤过程，实现了生产环境和UAT环境之间的安全数据传输，确保了客户数据的安全性。

总之，高盛成功将其关键的大型机应用程序重新部署到亚马逊云科技，解决了可扩展性挑战，同时保持了业务连续性和数据安全性，展示了一种实用的大型机现代化方法。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。