利用生成式人工智能和无代码机器学习加速创新

关键字: [Amazon Web Services re:Invent 2024，亚马逊云科技，生成式AI， Amazon SageMaker Canvas， Machine Learning Models， Demand Forecasting， Data Preparation， Model Training， Sagemaker Canvas]

导读

了解如何使用Amazon SageMaker Canvas赋能组织中的任何人从数据中解锁有价值的洞察。通过SageMaker Canvas，您可以创建高度准确的机器学习模型，用于回归、分类和时间序列预测，并微调选定的基础模型——所有这些都无需编写代码或具备机器学习经验。在本次会议中，探索如何通过API驱动的自动化来扩展机器学习操作。同时了解Gosoft如何利用SageMaker Canvas的AutoML时间序列功能，为泰国15，000家7-Eleven商店的数千种产品自动化需求预测。

演讲精华

以下是小编为您整理的本次演讲的精华。

各位晚上好!欢迎来到“借助生成式人工智能和无代码机器学习加速创新”的亚马逊云科技 re:Invent 2024会议。我是亚马逊云科技产品管理高级经理Ovishi Chadri。我身边是来自泰国GoSoft公司的Seravete Sopcho博士和亚马逊云科技高级专家解决方案架构师Charles Loughlin博士。

今天我们将讨论三个主题。首先，如何使用Amazon SageMaker Canvas在不编写任何代码的情况下加速机器学习。然后，Charles将演示SageMaker Canvas如何处理预测机器学习问题。最后，我们将听取Sera博士关于GoSoft如何利用我们的服务提高商品预测准确性并实现有形业务收益的分享。

在亚马逊云科技，机器学习和创新是我们的DNA，我们的使命是让每个人都能使用机器学习。为此，我们构建了Amazon SageMaker，它提供了最广泛的工具来构建、训练、部署和管理大规模机器学习模型。通过SageMaker，专家数据科学家和ML工程师可以访问最广泛的机器学习IDE和工具，如SageMaker Studio。您可以轻松地跨分布式计算训练模型，利用最新硬件和分布式训练库。您可以简化端到端ML运维流程，应用ML治理和负责任AI，利用人工反馈，并使机器学习民主化。

当客户标准化使用SageMaker时，我们听到了一些常见挑战。首先，他们有许多利用ML创新的想法和机会，但受限于专家的可用性，导致项目积压，等待数据科学家数周、数月甚至数年。客户希望让组织内更广泛的受众加速ML创新，允许领域和数据专家应用ML并将想法付诸实践。然而，这些更广泛的受众缺乏所需的技术编码和ML知识，造成了障碍。

最后，组织希望确保无论模型是如何构建的，以及由谁构建的，都遵循相同的MLOps流程、工作流和治理，而现有工具无法实现这一点。

为了解决这些挑战，我们从头开始构建了Amazon SageMaker Canvas - 一个可视化的无代码界面，您可以在其中进行端到端机器学习而无需编写任何代码。通过SageMaker Canvas，您可以访问现成的机器学习模型，包括基础模型，因此您无需ML知识即可构建高质量模型。

SageMaker Canvas提供了从数据准备到训练再到部署的端到端模型构建，无需编码。最棒的是，使用SageMaker Canvas完成的所有工作都可以导出为Python代码和Jupyter笔记本，因此您可以与数据科学家和ML工程师共享。他们可以审查工作、与您一起迭代并将其实现到他们的ML管道中，无需重新工作。

我们的客户正在跨多个领域和用例使用SageMaker Canvas模型。他们正在使用生成式AI微调模型，用于技术文档、问答;使用结构化表格和时间序列数据构建诊断指南，通常用于流失预测、预测性维护和预测。对于非结构化数据，他们正在构建计算机视觉和NLP模型，用于缺陷检测、情感分析和实体提取。在我们的团队中，我们正在使用SageMaker Canvas来预测客户收入、流失和客户细分。

现在，让我们看看SageMaker Canvas如何实现端到端ML生命周期的更快迭代，从数据开始。SageMaker Canvas允许您连接到亚马逊云科技上超过50个数据源，如Amazon S3、Redshift、Athena，以及第三方源如Snowflake、Salesforce和Databricks。您可以使用可视化界面可视化端到端ML管道，并自动扩展到PB级数据。在幕后，我们利用分布式EMR Serverless集群，因此您的数据准备可以从小型数据集扩展到PB级，无需额外代码。

通常，在进行机器学习之前，您需要了解数据、分析数据并准备训练就绪数据集。这意味着探索数据、生成见解，SageMaker Canvas通过单击即可提供详细的数据洞见和质量报告。该报告有助于您了解数据的外观、异常值、离群值，以及可能影响下游模型质量的详细属性，如目标泄露和类别不平衡。它还提供了如何转换数据以消除这些问题的建议，全部无需编写代码。这个过程可能需要数据科学家花费数小时到数天时间，即使是我们的专家数据科学家也喜欢生成的数据质量洞见。

SageMaker Canvas还提供了内置可视化功能，以更深入地了解数据中的关系，如相关矩阵和特征重要性，以及超过300种内置转换，可轻松准备数据。这些转换可以是简单的操作行和列、删除列、填充缺失值，或者更多ML专注的转换，如一热编码或平衡数据集。

我们通过支持自然语言指令使数据准备变得更加简单。通过键入所需的数据准备指令(如删除列)，Canvas将在后台生成代码，您可以编辑或将其作为数据准备管道中的一个步骤添加。同样，您可以描述所需的可视化和见解类型，如散点图，Canvas将生成代码并允许您下载可视化结果。虽然这些代码可能看起来很简单，但对于许多没有技术专长的受众和客户来说，编写简单的Python可能是一个挑战，因此这是一种很好的方式，让他们无需学习代码或技术概念即可进行自定义数据转换和可视化。

一旦我们有了训练就绪的数据集，下一步就是构建ML模型，SageMaker Canvas使您能够构建高质量的预测、回归、二元和多类分类、图像和文本分析模型，以及微调基础模型。如前所述，您无需ML专业知识，因为我们使用了最先进的AutoML技术来完成繁重的工作。

当您使用SageMaker Canvas训练模型时，在幕后，我们会并行运行多个具有不同配置的实验，为您提供性能最佳的模型。您可以选择超参数优化等技术，我们将使用不同的ML技术搜索参数空间，或者集成模型，我们并行运行多个作业并组合结果为您提供性能最佳的模型。或者，您也可以选择特定算法进行训练。

同样，我们为您的作业建议默认配置，但您也可以选择自定义作业运行，如更改数据分割、运行时间和其他参