sikh_0529的博客

退一步看，很明显不同的行业有各种各样的机器学习用例，所有这些用例在定义问题、构建模型、推动生产方面都有自己的复杂性——我们在本节中介绍的所有内容书。传输距离越远，传输的能量量越大，所使用的电压就越高：在低端，几十公里，几十兆瓦，需要几十千伏；许多算法不考虑其指标的平滑性，因为它们依赖于数据独立且同分布的假设，在我们的例子中，这是不正确的，因为给定一天的消耗通常与前一天和当天的消耗相关。由于网格在不断演变，很可能会出现新的注入和提取，而没有可用的历史数据，并且消费模式会发生断裂，因此过去的数据不再相关。

假设有多个模型版本可用。例如，饮料行业的客户A的推荐引擎可能会始终给出好的产品建议，而电信行业的客户B的推荐引擎可能很少提供好的建议。请注意，出于各种原因，这些算法可能会与更经典的业务规则相结合——例如，避免过滤气泡、不在给定地理区域销售产品，或阻止使用具有统计意义但使用起来不道德的特定关联（例如，向正在康复的酗酒者提议喝酒）。如果客户端 A 的数据集有 100 列，而客户端 B 有 50 列，或者客户端 A 的“购买商品数量”列是整数，而客户端 B 的同一列是字符串，则它们需要经过不同的预处理管道。

因此，它们可以成为其他领域 MLOps 最佳实践的来源，尽管需要进行调整，因为一方面的稳健性和成本效率、价值实现时间以及（重要的）另一方面的团队挫败感之间的权衡可能在其他业务中有所不同。通常，预测模型直接产生的概率并不准确。通过不加注意地对先前模型版本选择的人群训练模型版本，数据科学家将使模型无法准确预测被拒绝的人群，因为它没有出现在训练数据集中，而这正是预期的该模型。例如，如果发生经济衰退或商业政策发生变化，申请人群很可能会发生变化，以至于在没有进一步验证的情况下无法保证模型的性能。

法规是开始寻找的地方，但正如已经讨论过的，意见不是普遍的，也不是固定的。当对女性学校有偏见的招聘系统的开发者调整模型以忽略像“女性”这样的词时，他们发现即使是简历中的语言语气也反映了作者的性别，并对女性造成了不必要的偏见。在不太担心风险或监管合规性的举措中，更轻、更便宜的措施可能是合适的。例如，用于确定不同类型的机上餐食数量的“假设”计算影响相对较小，毕竟，即使在引入机器学习之前，这种组合也从来都不是正确的。相比之下，负责管理风险的人员和管理部署的 DevOps 团队会认为，全面严格的治理应该是强制性的。

这可以通过检查指标估计不再波动或通过进行适当的统计测试（因为大多数指标是行分数的平均值，最常见的测试是配对样本 T 测试）来以图形方式评估，它产生的概率观察到一个指标高于另一个指标是由于这些随机波动。在调查结果时，我们发现新的模式正在出现。因此，在一个数据集上学到的东西（“如果残留糖分低且 pH 值高，那么葡萄酒好酒的概率就高”）在另一个数据集上可能是错误的，因为，例如，当酒精含量高时，糖就不再重要了。在许多生产环境中，这是一项具有挑战性的任务，因为这两条信息是在不同的系统中以不同的时间戳生成和存储的。

这可能会保护模型免受尚未遇到的新情况的影响，但最重要的是，这可以保护模型免受系统查询故障或对抗性示例的影响（如“机器学习安全”中所述。在深入研究 CI/CD 如何应用于机器学习工作流之前，必须牢记这些概念应该是服务于快速交付质量的工具，第一步始终是识别组织中存在的特定风险. 换句话说，一如既往，CI/CD 方法应该根据团队的需求和业务的性质进行调整。此外，随着模型数量的增加，每个模型的 CI/CD 管道可能会有很大差异，如果不采取任何措施，每个团队将不得不为每个模型开发自己的 CI/CD 管道。

也就是说，即使拥有有效的监控系统和重新训练模型的程序，补救所需的时间也可能是一个关键威胁，特别是如果简单地根据新数据重新训练模型是不够的，并且必须开发新模型的话。这并没有改变理解机器学习模型（即使是相对简单的模型）需要适当培训的事实，但根据应用程序的重要性，更广泛的受众可能需要能够理解模型的细节。但是，当这是不可能的时候（例如，如果数据集太大或者丰富数据需要始终是最新的），生产环境应该访问数据库，从而具有通信所需的适当的网络连接、库或驱动程序安装了数据存储，并且身份验证凭据以某种形式的生产配置存储。

在二元分类问题中，正类（即，由于其预测会触发动作而值得预测的类）很少见，例如出现次数为 5%，因此，不断预测负类的模型的准确度为 95%，而也完全没用。该模型的输入数据可能是房屋固有的东西，如表面积、卧室和浴室的数量、建​​造年份、位置等，但也可能是其他更多背景信息，如销售时房地产市场的状况，卖家是否着急等等。再次强调，目标比例可能是申请人的比例，也可能是一般人群的比例，尽管前者的可能性更大，同样，组织无法对其无法控制的流程中的偏差负责。然而，由于不同的待遇，它仍可能被认为是歧视性的。

需要多长时间重新训练模型取决于现实世界变化的速度以及模型需要的准确性，但重要的是，还取决于构建和部署更好模型的难易程度。这种情况需要数据科学家的直接发明，他们需要了解漂移的原因，并找出如何调整现有的训练数据以更准确地反映最新的输入数据。例如，所需的透明度将强烈影响算法的选择，并可能推动提供解释和预测的需求，以便预测在业务层面转化为有价值的决策。商业实践受到更广泛的立法的影响，以保护社会的弱势群体，并确保在性别、种族、年龄或宗教等标准上的公平竞争环境。在可能的情况下，应该自动监控这些，但这很少是微不足道的。

这一点最终很重要，不仅可以确保 ML 模型的最佳结果（良好的结果通常会导致对基于 ML 的系统的更多信任以及增加构建更多的预算），而且，也许更有针对性地保护业务免受概述的风险。从业务角度来看，这意味着该模型不起作用，这是需要返回给构建 ML 模型的人员的重要信息，以便他们能够找到另一种可能的解决方案，例如引入提升模型来帮助营销更好地定位目标可能接受营销信息的潜在流失者。最终，尽管组织的角色略有不同，但数据工程师在生命周期中的角色是优化数据的检索和使用，以最终为机器学习模型提供支持。

它们不仅是在企业层面有效扩展数据科学和机器学习的基本任务，而且还以不让业务面临风险的方式进行。尝试在没有适当 MLOps 实践的情况下部署数据科学的团队将面临模型质量和连续性问题，或者更糟糕的是，他们将引入对业务产生真正负面影响的模型