sikh_0529的博客

为确保您的模型适合生产，请避免过度拟合，并使用与其在生产中看到的数据集最接近的数据集彻底测试模型。如果你是项目的数据架构师，你的部分工作就是说服领导团队和平台团队相信他们的数据科学家和机器学习工程师。我们向您展示了 ML 项目的生命周期，通过这些活动，您体验了项目生命周期的每个阶段是如何执行的。例如，如果您使用 Azure ML 作为您选择的平台，您将无法使用 Azure 作为您的基础架构提供程序。数据科学和数据工程团队可以是流对齐的团队，他们是平台的主要用户和平台团队的主要客户。ML 模型并不完美；

您将在此处使用相同的类，但是，在飞行项目中，您在将数据用于模型训练之前对数据应用了分类编码。作为数据科学家，此功能将改善您的工作方式，并提供一个可以记录所有实验的系统，并且无需太多更改即可使用。中，作为数据科学家，您可以选择将此数据拆分为两个不同的列，其中一列代表小时，另一列代表分钟。输出的前六行显示具有非常高的缺失数据率的列名称，对于这些列，您可以与数据工程和 SME 联系以查找可以从中获取数据的资源。自然，当您在图表中定义新组件时，您还需要定义相应的容器，该容器将作为图表节点的服务。

您已经了解了您构建的平台如何使您能够使用 Apache Spark 编写复杂的数据管道，而无需担心配置和维护 Spark 集群。您已经使用平台中提供的技术自动执行数据管道，并从您的 IDE 中看到了 Airflow 管道的集成，您用于编写 Spark 数据管道的 IDE 相同。作为一名数据工程师，您可以根据对数据的理解并在 SME 的帮助下做出有根据的猜测，哪些领域重要，哪些领域不重要。您可能已经在示例数据上编写了数据管道，而您的团队可能无法访问生产数据来执行数据管道。任务是数据帧的一对操作和分区。

使用 Kubernetes 平台，所有阶段都将使用容器执行，并在不同运行之间为您的项目提供一致的环境。分析大量的公司数据并将其转换为有用的结果是极其困难的，而且对于如何做到这一点没有单一的答案。弄清楚哪些数据是有意义的，哪些数据对业务至关重要，这是您的机器学习模型的基础。然后，您将使用描述性统计来汇总列，以了解您的列包含的值。在接下来的两章中，您将使用我们在本书中介绍的机器学习平台来实现航班延误预测服务，并且您将执行我们在本章中描述的每个阶段。例如，您的数据中只有 5% 的航班延误记录，其余航班准点。

部署模型后，它就可以很好地用于训练它的数据。然而，现实世界发生了变化。您将看到该平台如何让您观察模型的性能。本章讨论监控模型性能的工具和技术。性能数据可用于决定模型是否需要在新数据集上重新训练，或者是否是时候为给定问题构建新模型了。

因此，我们也可以将现有的软件工程方法应用于 ML 模型。这种方法使您的团队能够使用一致或标准化的开发环境（例如，相同的 Python 版本和相同的库来构建代码）并将安全策略应用于您的团队正在使用的已知软件集。您必须注意，随着越来越多的技术浮出水面，ML 工程的定义和 ML 工程师的角色仍在不断发展。如果您可以打开 MLflow URL 并查看上述步骤中描述的页面，那么您刚刚验证了 MLflow 已在您的平台中配置。如果需要，注册表中的模型版本控制将使您能够使用生产中的自动化工具回滚到模型的先前版本。

尽管 ML 平台可能包含 ODH 提供的组件以外的组件，但可以说 ODH 的一个实例是 ML 平台的一个实例。这意味着，如果您有较小的数据集，例如 10 甚至几百 GB，则经过调整的传统数据库可能会提供更快的处理时间。您只需要编写数据处理逻辑。如果您想使用特定的库添加您自己的图像，您只需在此处添加另一个文件，您的团队就可以使用它。JupyterHub 的这一特性实现了笔记本容器镜像的标准化，这使得团队中的每个人都可以拥有相同的环境配置和相同的库集。一般来说，数据工程是指跨组织的数据和数据流的管理和组织。

幸运的是，Kubernetes 有这个能力，我们的机器学习平台可以利用这个能力来限制团队的资源。您可以在前面的步骤中看到，除了编写代码之外，所有其他步骤都是声明性的。ML 平台的模型开发组件探索数据模式、构建和训练 ML 模型，并尝试多种配置以找到最佳配置和算法集，以实现模型的预期性能。数据工程师是构建软件的人，该软件收集和处理原始数据，为数据分析师和数据科学家生成干净且有意义的数据集。该平台的声明能力还将允许团队标准化整个组织的流程，这将减少定制工具链的使用，从而提高一致性并提高整个流程的安全性。

使用标准的 Kubernetes API，您可以在任何主要的云提供商上部署应用程序，而无需了解云提供商的 API。另一方面，PVC 是指向 PV 的抽象指针。在 OLM 中，安装 Operator 需要多个阶段：为 Operator 创建 Deployment 对象，配置运行 Operator 所需的权限（因为它需要观察 Kubernetes 集群中的变化），以及创建 CRD。在本章中，您回顾了一些基本的 Kubernetes 概念，并了解了 Kubernetes 世界中的 Operator 生态系统。

关于您在 ML 项目中编写的所有代码集：执行数据处理的代码、促进模型训练和 FE 的代码、运行模型推理的代码以及执行模型漂移和异常值检测的代码。当然，首先，传统编程和 ML 都是软件。这些步骤或阶段将成为您的 ML 项目生命周期的一部分，并提供一种将您的 ML 项目投入生产的一致方式。在运行时或预测时，构建的软件将这些定义明确的规则应用于给定的数据，程序的输出是基于编码规则计算的结果。它为您的平台消费者带来的一致性非常出色，因为团队可以在云上试验极低的初始成本，然后为您企业中更广泛的受众定制平台。

人工智能是一个涵盖任何可以取代人类的基本、基于规则的代理系统的广泛主题运算符、ML 和 DL。但是机器学习单独是另一个广泛的主题。它涵盖了几种算法，从基本的线性回归到非常深度卷积神经网络(CNN)。在传统编程，无论我们使用哪种语言或框架，开发和构建应用程序的过程都是相同的。相比之下，ML 有各种各样的算法，有时，它们需要完全不同的方法来利用和构建模型。例如，生成对抗网络(GAN)，它是一种用于许多用于生成假人脸的创造性 ML 模型的训练方式与基本决策树模型不同。