人工智能工程化(MLOps)
文章平均质量分 88
MLOps实践
吃果冻不吐果冻皮
坚持输入+输出学习模式,并让其变成一种习惯。
展开
-
TensorRT-LLM保姆级教程(一)-快速入门
Protobuf是一种轻量级的、高效的数据交换格式,但它在序列化和反序列化大型数据时有一个默认的大小限制。同时,它的接口和文档相对较少,用户可能需要更深入地了解其底层实现和使用方式,这对于初学者来说可能会增加学习和使用的难度。并且 FastTransformer 的生态较小,可用的资源和支持较少,这也会增加使用者在理解和应用 FastTransformer 上的困难。随着大模型的爆火,投入到生产环境的模型参数量规模也变得越来越大(从数十亿参数到千亿参数规模),从而导致大模型的推理成本急剧增加。原创 2023-12-04 23:10:14 · 2325 阅读 · 0 评论 -
大模型参数高效微调技术原理综述(一)-背景、参数高效微调简介
随着,ChatGPT 迅速爆火,引发了大模型的时代变革。然而对于普通大众来说,进行大模型的预训练或者全量微调遥不可及。由此,催生了各种参数高效微调技术,让科研人员或者普通开发者有机会尝试微调大模型。因此,该技术值得我们进行深入分析其背后的机理,本系列大体分七篇文章进行讲解。本文为大模型参数高效微调技术综述的第一篇。原创 2023-07-24 09:15:00 · 1210 阅读 · 0 评论 -
使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理
前几天,Meta 发布了 LIMA 大模型,在LLaMA-65B的基础上,无需使用 RLHF,只用了 1000 个精心准备的样本数据进行微调,就达到了和 GPT-4 相媲美的程度。之前的一系列大模型相关文章都是在LLaMA 7B/13B模型参数上面进行微调,文本使用 LoRA 技术对 LLaMA 30B/65B 大模型进行微调。首先,对 LLaMA 65B 进行微调,65B 参数的模型大约120G左右。当然,从提升模型的推理速度以及吞吐量的角度来说,对百亿级以上的大模型,也应该使用模型并行进行推理。原创 2023-06-07 21:44:51 · 1987 阅读 · 0 评论 -
大模型也内卷,Vicuna训练及推理指南,效果碾压斯坦福羊驼
为了提供演示服务,Vicuna研究人员建立了一个轻量级的分布式服务系统,创建了八个问题类别(如:角色扮演、编码/数学任务等)的 80 个不同问题,利用 GPT-4 来判断模型输出,借此对模型质量做初步评估。Vicuna具体的工作流程如下图所示,首先,研究人员从 ShareGPT.com(一个供用户分享 ChatGPT 对话内容的网站)收集了约 7 万个对话,并增强了 Alpaca 提供的训练脚本,以更好地处理多轮对话和长序列。追加到上面的命令中,这会将大权重文件拆分为较小的文件,并将磁盘用作临时存储。原创 2023-05-12 09:25:19 · 1720 阅读 · 1 评论 -
从0到1复现斯坦福羊驼(Stanford Alpaca 7B)
近日,Meta开源了他们的LLaMA系列模型,包含了参数量为7B/13B/33B/65B的不同模型,然而,原模型的效果较差(如生成的结果文不对题、以及无法自然地结束生成等)。因此,斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微调,仅使用约 5 万条训练数据,就能达到类似 GPT-3.5 的效果。并没有发布对应的版本,但是已经合并到主分支了,因此,我们需要切换到对应的commit,从源代码进行相应的安装。文件即是他们用于训练的指令数据集,我们可以直接使用该数据集进行模型精调。原创 2023-05-12 09:23:18 · 1144 阅读 · 1 评论 -
从0到1基于ChatGLM-6B使用LoRA进行参数高效微调
本文主要讲述了基于ChatGLM使用LoRA进行参数高效微调以及使用训练好的模型对其进行推理。参考文档。原创 2023-04-14 01:38:56 · 4348 阅读 · 2 评论 -
足够惊艳,使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调,效果比肩斯坦福羊驼
从上面可以看到,在一台8卡的A800服务器上面,基于Alpaca-Lora针对指令数据大概20分钟左右即可完成参数高效微调,相对于斯坦福羊驼训练速度显著提升。参考文档LLaMA:斯坦福-羊驼。原创 2023-04-10 19:54:18 · 6286 阅读 · 5 评论 -
关于大模型实践的一些总结
同时也设计了skip-connection结构,确保了在最差的情况下能够退化为identity),并将其嵌入Transformer的结构里面,在训练时,固定住原来预训练模型的参数不变,只对新增的Adapter结构进行微调。随着近期ChatGPT的迅速出圈,加速了的大模型时代变革。同时,为了防止直接更新Prefix的参数导致训练不稳定的情况,他们在Prefix层前面加了MLP结构(相当于将Prefix分解为更小维度的Input与MLP的组合后输出的结果),训练完成后,只保留Prefix的参数。原创 2023-04-10 17:57:18 · 3487 阅读 · 0 评论 -
机器学习模型可视化(Slingshot)
使用 R 作为数据分析语言,开发人员和数据科学家可以创建各种类型的可视化,以最少的编码来表示复杂的原始数据。通过图表和图形,这是首选的数据可视化类型之一,以更快的方式讲述数据趋势的整体情况。通过数据可视化,人们可以在上下文中接收交互式视觉效果,将数据转换为一种形式,帮助人们更好地了解对他们的业务很重要的趋势和相关性。在这里,我们将重点放在有条理的学习过程上,其中机器学习算法探索不同的选项并对其进行评估,以找出最佳方案,从而获得最佳结果。这种类型的可视化提供了信息的概览,作为表盘上的读数。原创 2023-03-22 09:21:33 · 588 阅读 · 0 评论 -
监控生产环境中的机器学习模型
不充分的监控可能导致不正确的模型在生产中未经检查,过时的模型停止增加业务价值,或者模型中的细微错误随着时间的推移而出现并且永远不会被发现。有趣的是,这些工具将如何发展以满足许多企业日益增长的挫败感,这些企业经历了 ML 部署的高峰期,但随后却没有能力监控该部署,并因几个月后环境的变化而被烧毁。这可能意味着变量的制造方式可能不同,因此即使管道对相同的输入数据返回相同的预测(这意味着我们的差异测试通过),不同的数据源可能会导致相同特征中固有的不同值,这将导致不同的预测。设置和维护此工具会带来巨大的运营成本。原创 2023-02-26 21:06:22 · 855 阅读 · 0 评论 -
机器学习模型监控的 9 个技巧
机器学习 (ML) 模型是非常敏感的软件;它们的成功使用需要仔细监控以确保它们正常工作。当使用所述模型的输出自动做出业务决策时尤其如此。这意味着有缺陷的模型通常会对最终客户体验产生真正的影响。模型与它们使用的数据一样好,因此监控输入数据(和输出)对于模型实现其真正目标至关重要:有助于推动良好的决策并帮助企业实现其目标。在生产环境中使用机器学习模型时,您可以使用以下一些可行的、与框架无关的技巧来制定更强大的监控策略。原创 2023-01-08 16:57:07 · 782 阅读 · 0 评论 -
机器学习可视化技术(Towards Data Science)
在图 4 中,不同的类别用不同的颜色表示。变分自编码器 (VAE) 是一种概率生成模型,用于创建一些输入数据(例如:图像)的潜在表示,能够简洁地理解原始数据并从中生成全新的数据(例如:训练 VAE 模型具有不同的汽车设计图像,然后可以建模以创建全新的富有想象力的汽车设计)。继续使用 Livelossplot 训练的变分自编码器示例,我们甚至可以通过检查潜在空间(图 9)如何从一次迭代到另一次迭代来使我们的模型更有趣(以及因此我们的模型在区分不同类别方面随着时间的推移改进了多少)。原创 2022-11-20 15:09:12 · 1854 阅读 · 0 评论 -
如何检测和克服MLOps中的模型漂移
通过确保模型对最近的数据变化给予更多的权重,而不是对旧的数据变化给予较小的权重,ML 模型将变得更加健壮并构建一个简洁的小型数据库来管理未来可能与漂移相关的变化。例如,如果模型在使用静态数据的静态环境中运行,那么它的性能不应降低,因为预测的数据来自与训练期间使用的相同分布。但是,如果模型存在于一个不断变化的动态环境中,涉及的变量太多,那么模型的性能也会有所不同。由于数字环境的变化,以及随之而来的概念和数据等变量的变化,模型漂移在 ML 模型中很突出,这仅仅是机器语言模型作为一个整体的性质。原创 2022-11-10 19:07:39 · 929 阅读 · 0 评论 -
机器学习模型监控清单
了解您的模型是否运行良好的最直接方法是将您的预测与实际值进行对比。您可以在模型训练阶段使用相同的指标,例如:分类的 Precision/Recall、回归的 RMSE 等等。其次,不仅需要跟踪模型质量,还需要跟踪相关的业务 KPI。您可能已经知道要跟踪的一些特定分段(segments),例如:您的高级客户与整体基数的模型准确性。为此,我们需要跟踪合适的指标,例如准确率中的奇偶校验。在本文中,我们建议如何监视您的模型和要使用的开源工具。我们需要确保模型交付。例如,您可以跟踪主要的模型特征和模型预测的分布。原创 2022-11-07 20:40:38 · 593 阅读 · 0 评论 -
MLOps:模型监控
实现这样的框架以确保ML系统的一致性和健壮性是至关重要的,因为没有它,ML系统可能会失去终端用户的“信任”,这可能是致命的。-捕捉训练数据和生产数据(场景一)或生产数据的不同时间框架(场景二)之间每个独立变量的分布移位(如适用)。在本系列的下一篇博客中,我们将更详细地介绍两个最重要的模型监控指标,即稳定性和性能指标,我们将了解如何使用它们来构建我们的模型监控框架。使用模型度量堆栈进行模型监视,对于将已部署的ML模型的反馈回路放回模型构建阶段至关重要,这样ML模型可以在不同的场景下不断改进自己。原创 2022-11-07 20:37:59 · 613 阅读 · 0 评论 -
MLOps专栏文章汇总
模型监控如何工作(数据漂移、异常值、偏见)、Alibi Detect 简介、监控模型(部署图像分类器、部署漂移检测器)、从 Alibi 中获取指标、Alibi 适合你吗?(数据分布变化、性能改变、健康指标/运营指标、数据完整性、分段性能、偏见/公平)、在 Valohai 中如何监控模型(存储指标、在 UI 中可视化指标)(数据质量、模型质量、模型偏差、模型可解释性)、NLP 数据漂移(协变量漂移、标签漂移、概念漂移、(模型漂移、数据漂移(KS检验、PSI、Z-score)、概念漂移)、原创 2022-10-29 09:57:55 · 758 阅读 · 0 评论 -
一个精选的模型监控工具列表
在该平台上,您可以分析您的个人资料以查看您的模型的执行情况,并自动收到有关变化的警报。MLRun 是一个端到端的开源 MLOps 编排框架,用于管理和自动化您的整个分析和机器学习生命周期,从数据摄取到模型开发再到完整的流水线部署。:使用特定于工作负载的运行时引擎(例如:Kubernetes 作业、Nuclio、Dask、Spark 和 Horovod)将简单的代码转换为可扩展和托管的微服务。:处理跨多个存储库和技术的数据和特征的摄取、处理、元数据和存储。:一个简单、直观的仪表板,适用于生产中的所有模型。原创 2022-10-25 12:22:06 · 997 阅读 · 3 评论 -
模型监控:定义、重要性和最佳实践(AI Multiple)
因此,十年前为最大限度地提高客户满意度而设计的聊天机器人如果不加以监控,可能会给客户带来不安全的时间。然而,几年后,匈牙利可能会使用欧元作为其货币,与福林相比,欧元的波动幅度有所不同。您可以将这个过程想象为不时将您的汽车送去维修,并更换汽车的轮胎或机油以获得更好的性能。)中指出的那样,MLOps 系统的生命周期包括各种过程,尽管付出了所有努力和时间,但不能保证创建有效的 MLOps。但是,ML 模型的性能会随着时间的推移而下降。ML 预测的环境是不断变化的,因此 ML 模型应该适应新的环境。原创 2022-10-25 12:19:10 · 1206 阅读 · 0 评论 -
ML 模型监控最佳工具
WhyLabs 用于模型监控的最大优势之一是它消除了手动解决问题的需要,从而节省了金钱和时间。它使您可以监控模型性能、解释和调试模型预测、通过整个数据和切片来分析模型行为、大规模部署机器学习模型以及管理机器学习模型和数据集。使用 Qualdo,您可以从生产 ML 输入/预测数据、日志和应用程序数据中获得洞察力,以观察和改进您的模型性能。有模型部署和数据漂移和数据异常的自动监控,您可以看到质量指标和可视化。它是一个 MLOps 框架,可让您打包、部署、监控和管理数以千计的生产机器学习模型。原创 2022-10-20 19:15:36 · 696 阅读 · 0 评论 -
什么是模型监控?(Valohai)
它使您的 AI 团队能够识别和消除各种问题,包括糟糕的质量预测和糟糕的技术性能。因此,您的机器学习模型可提供最佳性能。一旦 Valohai 从原始日志中解析出指标,就可以使用 Valohai 部署监控 UI 随着时间的推移对其进行可视化,用户可以在其中分析任何选定时间范围的日志和指标。生产中的模型在操作系统级别与 Valohai 通信,这意味着它收集并存储您的进程内部打印的所有内容,无论是错误堆栈跟踪、模型指标还是健康信息。上面的清单将为实施彻底的模型监控提供有价值的考虑,以确保生产中持续不变的性能。原创 2022-10-20 19:13:45 · 1844 阅读 · 1 评论 -
Kubeflow 和 Argo 的综合比较
一些人正在寻找为 ML/MLOps 构建的特定工具,例如:Kubeflow,而另一些人则在寻找更通用的编排器,例如:Argo 或 Airflow,它们可以适用于机器学习工作流。它包括一个用于管理作业的用户界面、一个用于安排多步骤 ML 工作流的引擎、一个用于定义和操作管道的 SDK,以及用于通过 SDK 与系统交互的 Notebooks。当这两种解决方案都是开源的时,采用具有更多功能的解决方案可能是合乎逻辑的,尤其是当它们共享 Kubernetes 作为核心依赖项时。:这是 Argo 中最重要的组件。原创 2022-10-15 12:29:48 · 933 阅读 · 0 评论 -
无代码 AI 概览(Levity)
有些工具在非常特定的用户场景中表现出色 - 因为它们就是为此而构建的(例如,如果您尝试使用机器学习供个人使用,Lobe 非常棒,或者如果您主要是在寻找,请查看 Rossum 用于文档处理)。一些从业者指出,在某些情况下,重要的是要记住,一旦您在平台上开发了一个应用程序,只要该应用程序正在运行,您就会一直链接到该平台。我们经常使用“人工智能从基于规则的自动化结束的地方开始”这个短语——从我们的角度来看这是有道理的,但不应该一概而论(有些工具超越了纯粹的自动化,例如,如果是这样,他们通常更适合做这项工作。原创 2022-10-15 12:27:17 · 521 阅读 · 0 评论 -
无代码人工智能:它是什么,它为什么重要?(Noogata)
如今,大多数企业都在考虑如何变得更加以数据为驱动力,并更好地利用可用的大量数据来做出更有力的决策。关键是如何使用人工智能 (AI) 和机器学习 (ML) 来促进这一点。和Appian的报告显示,高管们对人工智能的潜在影响持积极态度,并致力于识别用户场景和潜在的人工智能解决方案。然而,虽然 AI 和 ML 将从根本上改变许多业务流程,但利用 AI 的力量可能是缓慢、复杂和昂贵的,需要数据科学团队来构建它,并需要数据科学家来使用它。Noogata 的无代码 AI 平台。原创 2022-10-15 12:26:14 · 2164 阅读 · 0 评论 -
我们为什么创建无代码 AI 平台 Noogata
基于云的数据仓库和数据湖解决方案(BigQuery、RedShift、Synapse、Snowflake、Databricks)、新一代 ETL/ELT 工具(Fivetran、Airbyte、dbt)、自助式分析和整个堆栈中的其他解决方案正在取得进展企业数据团队更容易构建、管理并成为组织的数据保管人,使数据可供整个组织使用和利用。这需要一种新的方法,我们正在采取这种方法。它允许企业为业务用户构建完整的端到端以行动为中心的体验,从收集数据到将模型的输出转换为组织流程(现有流程或仪表板的智能自动化)。原创 2022-10-15 12:24:20 · 685 阅读 · 0 评论 -
如何将 Apache Airflow 用于机器学习工作流
Apache Airflow 是一个强大的工具,用于创建、调度和监控工作流,但它是为 ETL 任务而构建的。机器学习任务需要特定的资源,并且它们的执行细节应该是版本控制的。如果您有资源来维护 Kubernetes 集群,您可以使用 KubernetesPodOperator 扩展机器学习任务。如果您想专注于构建模型,您可以使用为机器学习任务扩展 Airflow。这样,您还将获得每次执行的自动版本控制。...原创 2022-08-13 15:57:39 · 991 阅读 · 0 评论 -
机器学习概念漂移检测方法(Aporia)
目前,有多种技术可用于机器学习检测概念漂移的方法。熟悉这些检测方法是为每个漂移和模型使用正确度量的关键。在本文章中,回顾了四种类型的检测方法:**统计**、**统计过程控制**、**基于时间窗口**和**上下文方法**。......原创 2022-07-03 21:09:52 · 3132 阅读 · 0 评论 -
机器学习模型监控(Aporia)
机器学习监控是一组用于观察生产中的 ML 模型并确保其性能可靠性的技术。 ML模型通过观察数据集中的示例进行训练,并将代表模型在训练任务中表现的好坏的错误最小化。生产 ML 模型在对开发中的静态样例集进行训练后,对来自不断变化的世界的变化数据进行推理。 开发中的静态训练数据与生产中的动态数据之间的这种差异导致生产模型的性能随着时间的推移而下降。示例:假设您根据 COVID 之前的用户数据检测信用卡欺诈训练了模型。 在大流行病期间,信用卡使用和购买习惯会发生变化。 此类更改可能会使您的模型暴露于模型未训练的分原创 2022-06-18 17:32:35 · 1305 阅读 · 0 评论 -
机器学习中的概念漂移(Aporia)
随着机器学习模型成为自动化和预测任务越来越流行的解决方案,许多科技公司和数据科学家采用了以下工作范式:数据科学家负责解决特定问题,他们会得到可用相关数据的快照,他们致力于训练模型来解决它。 一旦模型经过测试,它就会进入生产阶段。最终,模型的性能开始下降,这通常是由于概念漂移。概念漂移是指目标变量(模型试图预测的内容)的统计特性随时间以不可预见的方式发生变化的情况。在视觉上,我们可以说概念是一种区分上图中蓝点和绿点的方法。 黑线表示将蓝点和绿点分开的概念。对于下面的定义,我们以下参数表示:漂移类型为了更好地理原创 2022-06-18 17:25:39 · 2216 阅读 · 0 评论 -
Umang 谈部署可解释机器学习面临的挑战
本文是由 Umang 博士分享关于 ML 可解释性方面面临的挑战。Umang 提到了围绕 XAI(可解释 AI)的文献大幅增长。特别是,旨在“解释”机器学习输出的提议算法的增加。有了这个观察结果,Umang 的团队着手做的事情之一就是研究组织如何使用这些算法。在他们的研究中,他们对来自 30 个不同组织的 50 人进行了半结构化访谈,访谈持续时间在 30 分钟到 2 小时之间。团队意识到需要共享和建立语言来思考可解释的人工智能,以便能够围绕该主题进行这些对话。 Umang 提供以下两个定义:关键点在于,可解原创 2022-06-03 14:46:59 · 202 阅读 · 1 评论 -
浅析云原生模型推理服务框架KServe
简介KServe 提供 一个 Kubernetes 自定义资源定义,用于在任意框架上提供机器学习 (ML) 模型服务。 它旨在通过为常见的 ML 框架(如:Tensorflow、XGBoost、Scikit-Learn、PyTorch 和 ONNX)提供高性能、高度抽象的接口来解决生产模型服务场景。它封装了自动缩放、网络、健康检查和服务配置的复杂性,为您的 ML 部署带来了尖端的服务功能,如:GPU 自动缩放、归零缩放和金丝雀发布等。 它为 Production ML Serving 提供了一个简单、可原创 2022-05-29 09:25:40 · 2904 阅读 · 0 评论 -
特征平台(Feature Store):您需要知道的关于特征平台的一切信息(Continuous)
特征平台已于 2021 年问世,成为实现 AI 的一项重要技术。 尽管高科技公司对特征平台充满热情,但大多数传统 ML 平台仍然缺少它们,并且在许多企业公司中相对不为人知。在这里,我们将介绍特征平台的常见功能,以及在你自己的工作中采用这种方法的利弊。特征平台是什么?特征平台的定义通常是模棱两可的。我们将首先提供一个具体的定义,然后讨论它的常见的特征和好处。简而言之,特征平台是一种数据管理系统,用于管理和提供机器学习模型的特征。你问什么是特征?用外行的话来说,特征是一种描述性属性,与预测事物在世界中的行原创 2022-05-29 09:24:01 · 4345 阅读 · 0 评论 -
现代数据栈的未来(Continual)
现代数据栈作为首选云数据架构在科技界迅速崛起,尽管它的受欢迎程度一直在迅速上升,但有时它的定义可能会模棱两可。本文,我们将讨论它是什么,它是如何形成的,以及未来的发展方向。什么是现代数据栈?现代数据栈通常是指组成云原生数据平台的技术集合,通常用于降低运行传统数据平台的复杂性。各个组件不是固定的,但它们通常包括:云数据仓库,例如:Snowflake、Redshift、BigQuery 或 Databricks Delta Lake数据集成服务,例如:Fivetran、Segment 或 Airbyt原创 2022-05-29 09:20:02 · 457 阅读 · 0 评论 -
MLflow快速入门
安装使用一下命令即可安装 MLflow:pip3 install mlflow# 或者conda install mlflow除此之外,要使用某些 MLflow 模块和功能(如:ML 模型持久化/推理等),您可能需要安装额外的库。 例如,mlflow.tensorflow 模块需要安装 TensorFlow。 有关详细信息,请参阅额外依赖项。另外:MLflow skinny(轻量型 MLflow 套件)也需要为某些 MLflow 模块和功能安装额外的依赖项。 例如,mlflow.set_tra原创 2022-05-16 16:24:42 · 4045 阅读 · 0 评论 -
浅谈机器学习生命周期平台MLflow
简介MLflow 是一个简化机器学习开发的平台,包括跟踪实验、将代码打包以便于可再现的运行以及共享和部署模型。MLflow 提供了一组轻量级 API,可用于任何现有的机器学习应用程序或库(TensorFlow、PyTorch、XGBoost 等),无论您当前在何处运行 ML 代码(例如:在笔记本电脑、独立应用程序或云平台中)。机器学习工作流程机器学习需要对广泛的数据集、数据准备步骤和算法进行试验,以构建最大化某些目标指标的模型。构建模型后,您还需要将其部署到生产系统,监控其性能,并根据新数据不断对其原创 2022-05-16 16:19:54 · 1094 阅读 · 0 评论 -
现代数据团队的特征工程(Continual)
特征工程是任何 ML 工作流程的关键部分。 在 Continual 中,我们认为它实际上是 ML 流程中最具影响力的部分,并且应该对其应用最多的人工干预。 然而,在 ML 文献中,该术语经常在几个不同的主题中被过度使用,我们希望为 Continual 的用户提供一些引导以了解该概念。 在本文中,我们将把特征工程分解为几个不同的概念,并为每个概念提供引导。概述特征工程的定义通常含糊不清,这通常会导致数据工作者感到困惑。 究竟什么是特征工程? 简而言之,特征工程是获取原始数据并为机器学习模型构建输入的过程。原创 2022-05-01 10:16:31 · 357 阅读 · 0 评论 -
浅述MLOps的价值
通过明确定义的获取数据的位置和类型来标准化元数据管理加快了解哪些输入和参数是有效的,哪些是无效的时间。极大地改善了数据科学团队成员之间的协作。这是实验跟踪和模型可重现性的第一步。实现模型注册表(仓库)并将其链接到每个实验生成的其他参数现在您知道了每个模型的训练参数和指标。模型可以直接从模型注册表获取到服务(生产/staging)环境。可以在模型之间快速切换或同时提供多个版本将元数据与生成它的源代码匹配现在您知道了用于生成元数据和训练模型的源代码(实验)。这是模型可重现性的另一个原创 2022-04-30 00:23:45 · 491 阅读 · 0 评论 -
如何测试你的机器学习流水线?
谈到数据产品,很多时候有一种误解,认为这些产品无法通过自动化来进行测试。 尽管流水线的某些部分由于其实验性和随机性而无法通过传统的测试方法进行测试,但大部分流水线可以。 除此之外,更加不可预测的算法可以通过专门的验证过程。让我们来看看传统的测试方法,以及我们如何将这些方法应用到我们的数据/ ML 流水线中。测试金字塔标准简化的测试金字塔如下所示:这个金字塔表示您将为应用程序编写的测试类型。 我们从大量的单元测试开始,这些单元测试独立于其他功能来测试单个功能。 然后我们编写集成测试来检查将我们隔离的原创 2022-04-22 23:43:48 · 1724 阅读 · 0 评论 -
AI 产业三大发展趋势(AutoML/MLOps/XAI)将加速企业 AI 应用落地
AI 人工智能高速发展数十年后的现在,企业对于发展 AI 应用的进程,从探索期接续进入构建、扩展及输出的阶段。近期 AI 产业的三大发展趋势:AutoML(自动机器学习)、MLOps(机器学习的开发及运维)及 XAI(可解释性的AI)等解决方案,将加快企业发展智慧化应用的脚步。AutoMLAutoML 解决了过去ML训练及建构模型费时的问题,也缓解AI人才不足困境,几乎 ML 开发过程中的每一重复性环节,都能利用 AutoML 技术来简化,进而缩短上线到生产的时间。一些活跃的开源项目:Neur原创 2022-04-16 23:45:54 · 1372 阅读 · 0 评论 -
如何监控你的 ML 流水线
我们谈了很多关于将机器学习代码投入生产的过程。 但是,一旦模型投入生产,您还没有完成,您才刚刚开始。 模型将不得不面对它最大的敌人:现实世界!下面我们来探讨您可以实施哪些类型的监控,以了解您的模型在现实世界中的表现。 这既考虑了持续训练,也考虑了训练模型的使用。 主要包括如下几种类型:监控您的基础设施监控数据监控训练监控现实世界中的值比如,监控你的实验。比如,监控你的容器CPU占用情况。监控您的基础设施构建任何系统的工程师通常都会进行一些监控,以确保服务正常运行且基础设施未满负荷。原创 2016-08-20 17:17:39 · 2683 阅读 · 0 评论 -
数据优先的人工智能会是下一个颠覆性的大事件吗?(Continual)
现代机器学习 (ML) 平台的起步已经大约有十年的时间了,这一平台的灵感主要来自数据科学家不断增长的基于Python的开源技术生态系统。现在是让我们来回顾已经取得的进展,同时突出企业在现有 ML 平台上存在的主要问题,并讨论下一代平台会是什么样子的好时机。正如我们将要讨论的,我们相信 ML 平台市场的下一个颠覆将是数据优先的 AI 平台的增长。ML 解决方案的基本组件曾经有一段时间,构建机器学习模型需要大量工作(涉及实现您自己的算法,在此过程中编写大量代码,并希望您在将学术工作转化为函数库时不会犯重大错原创 2022-04-14 23:02:22 · 675 阅读 · 0 评论