Model Monitoring - KServe

最新推荐文章于 2024-04-18 16:58:47 发布
最新推荐文章于 2024-04-18 16:58:47 发布
阅读量256 收藏
点赞数
分类专栏： Kserve 文章标签： Kserve
原文链接：https://kserve.github.io/website/0.10/modelserving/detect/alibi_detect/alibi_detect/
版权

这里写自定义目录标题

https://kserve.github.io/website/0.10/modelserving/detect/alibi_detect/alibi_detect/

使用Alibi异常值/漂移检测器部署推理服务

为了信任模型预测并可靠地对其采取行动，通过各种不同类型的检测器来监控传入请求的分布是至关重要的。KServe将Alibi Detect与以下组件集成在一起：

  • 漂移检测器检查传入请求的分布何时偏离参考分布，例如训练数据的参考分布。
  • 异常值检测器标记不遵循训练分布的单个实例。

所使用的体系结构如下所示，并将KServe中可用的有效载荷日志记录与KNative中这些有效载荷的异步处理联系起来，以检测异常值。
在这里插入图片描述

CIFAR10异常值检测器

CIFAR10异常值检测器。运行notebook demo进行测试。
notebook需要KNative Eventing>=0.18。

CIFAR10漂移探测器

CIFAR10漂移探测器。运行notebook demo进行测试。
notebook需要KNative Eventing>=0.18。

使用AIF360对推理服务进行偏差检测

这是一个如何在KServe上使用AI Fairness 360（AIF360）获得偏差度量的示例。LF人工智能孵化项目AI Fairness 360是一个可扩展的开源工具包，可以帮助用户在整个人工智能应用生命周期中检查、报告和减轻机器学习模型中的歧视和偏见。

我们将使用由加州大学欧文分校机器学习库维护的德国学分数据集。德国信贷数据集包含债权人是否允许贷款申请人获得贷款的数据以及申请人的数据。这些数据包括申请人的信用记录、储蓄和就业的相关数据，以及申请人的一些人口统计数据，如年龄、性别和婚姻状况。债权人可以使用信用记录、储蓄和就业等数据来准确预测申请人偿还贷款的概率，但不应使用年龄和性别等数据来决定是否应向申请人提供贷款。

我们希望能够检查这些“受保护类”是否在模型的预测中使用。在这个例子中，我们将向模型提供一些预测，并根据模型做出的预测计算指标。我们将使用KServe有效负载日志记录功能来收集度量。这些指标将深入了解模型是否偏向于或反对任何受保护的类。在这个例子中，我们将研究我们部署的模型对年龄>25岁的人与年龄<=25岁的人的偏见，并看看债权人是否不公平地对待了这两者。

可以在此处找到用于部署示例的示例资源。

创建推理服务

应用CRD
kubectl

kubectl apply -f bias.yaml

期望输出

$ inferenceservice.serving.kserve.io/german-credit created

部署消息转储程序（有效负载日志的后端接收器示例）

应用消息转储程序CRD，它将收集在推理服务上运行预测时创建的日志。在生产设置中，可以使用Kafka来接收有效负载日志，而不是消息转储程序
kubectl

kubectl apply -f message-dumper.yaml

期望输出

service.serving.knative.dev/message-dumper created

运行预测

第一步是确定入口IP和端口，并设置INGRESS_HOST和INGRESS_PORT

MODEL_NAME=german-credit
SERVICE_HOSTNAME=$(kubectl get inferenceservice ${MODEL_NAME} -o jsonpath='{.status.url}' | cut -d "/" -f 3)
python simulate_predicts.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/$MODEL_NAME:predict ${SERVICE_HOSTNAME}

处理度量计算的有效载荷日志

运行json_from_logs.py，它将创建一个AIF可以解释的有效负载。首先，从消息转储程序（message-dumper）中获取事件日志，然后解析这些日志以匹配输入和输出。然后，输入/输出对都被组合成输入列表和输出列表以供AIF解释。应该在这个文件夹中创建一个data.json文件，其中包含json负载。

python json_from_logs.py

运行解释

最后，现在我们已经收集了我们模型的一些预测及其相应的输入，我们将把它们发送到AIF服务器，以计算偏差度量。

python query_bias.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/$MODEL_NAME:explain ${SERVICE_HOSTNAME} input.json

解释结果

现在让我们来看看其中一个指标。在这个例子中，不同影响表示特权阶层（年龄>25）的申请人获得贷款的概率与非特权阶层（年纪<=25）的申请者获得贷款的可能性P(Y=1|D=privileged)/P(Y=1|D=unprivileged)之间的比率。由于在下面的样本输出中，不同的影响小于1，因此年龄大于25岁的申请人获得贷款的概率显著高于年龄小于或等于25岁的申请者获得贷款的可能性。这本身并不能证明该模型存在偏见，但确实暗示可能存在一些偏见，可能需要更深入的研究。

python query_bias.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/$MODEL_NAME:explain ${SERVICE_HOSTNAME} input.json

期望输出

Sending bias query...
TIME TAKEN:  0.21137404441833496
<Response [200]>
base_rate :  0.9329608938547486
consistency :  [0.982122905027933]
disparate_impact :  0.52
num_instances :  179.0
num_negatives :  12.0
num_positives :  167.0
statistical_parity_difference :  -0.48

数据集

本例中使用的数据集是由加州大学欧文分校机器学习库维护的德国信贷数据集。
Dua，D.和Graff，C.（2019）.UCI机器学习库[http://archive.ics.uci.edu/ml]。加利福尼亚州欧文：加利福尼亚大学信息与计算机科学学院。

使用ART获得MNIST分类的对抗性示例

这是一个示例，展示了对抗性修改的输入如何欺骗模型进行错误预测，以突出模型对对抗性攻击的脆弱性。它正在KServe上使用对抗性稳健性工具箱（Adversarial Robustness Toolbox,ART）。ART提供了一些工具，使开发人员能够针对对抗性威胁评估、防御和验证ML模型和应用程序。除了提供对抗性攻击的能力外，它还提供了防御算法。

我们将使用MNIST数据集，这是一个手写数字的数据集，并找到可能使模型错误预测分类的对抗性示例，从而显示模型对对抗性攻击的脆弱性。

可以在此处找到用于部署示例的示例资源

使用v1beta1 API部署推理服务

kubectl apply -f art.yaml

然后查找 url

kubectl get inferenceservice

NAME         URL                                               READY   DEFAULT TRAFFIC   CANARY TRAFFIC   AGE
artserver   http://artserver.somecluster/v1/models/artserver   True    100                                40m

说明

第一步是确定入口IP和端口，并设置INGRESS_HOST和INGRESS_PORT

MODEL_NAME=artserver
SERVICE_HOSTNAME=$(kubectl get inferenceservice ${MODEL_NAME} -o jsonpath='{.status.url}' | cut -d "/" -f 3)
python query_explain.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/${MODEL_NAME}:explain ${SERVICE_HOSTNAME}

一段时间后，您应该会看到一个包含解释的弹出窗口，类似于下图。如果没有显示弹出窗口，并且出现消息“无法找到对抗性示例”，则无法及时为给定的图像找到对抗性实例。如果弹出窗口确实显示，则左侧的图像是原始图像，右侧的图像是对抗性示例。两个图像上方的标签表示模型对每个单独图像进行的分类。
在这里插入图片描述
本例中使用的平方攻击方法Square Attack method在每次迭代时创建一个随机更新，如果它使错误分类的可能性更大（更具体地说，如果它改进了目标函数），则将该更新添加到对抗性输入中。一旦将足够多的随机更新添加在一起并且模型错误分类，则将返回并显示所产生的对抗性输入。

要尝试另一个MNIST示例，请在查询末尾添加一个0-9999之间的整数。所选择的整数将是要在MNIST数据集中选择的图像的索引。或者，要尝试使用自定义数据的文件，请将文件路径添加到末尾。请记住，数据格式必须为{“instances”: [, 

python query_explain.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/${MODEL_NAME}:explain ${SERVICE_HOSTNAME} 100
python query_explain.py http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/${MODEL_NAME}:explain ${SERVICE_HOSTNAME} ./input.json

停止推理服务

kubectl delete -f art.yaml

构建开发ART讲解器Docker Image

如果您想为ART讲解器构建开发映像，请按照以下说明进行操作

疑难解答

<504> Gateway Timeout <504> -解释程序可能花费了太长时间，并且没有足够快地发回响应。要么没有分配足够的资源，要么需要减少解释者可以采集的样本数量。要解决此问题，请转到art.yaml并增加资源。

如果您看到Configuration “artserver default”没有任何现成的修订版，则容器可能需要很长时间才能下载。如果您运行kubectl get revision，发现您的修订版卡在ContainerCreating中，请尝试删除推理服务并重新部署。

蓝净云
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI模型推理（２）—— Kserve入门使用
chenxy02的博客
05-02 811
Kserve 提供一个Kubernetes 自定义资源定义（InferenceService），用于在任意框架上提供机器学习模型服务。它旨在通过为常见的ML框架（如：Tensorflow、XGBoost、Scikit-Learn、PyTorch和ONNX）提供高性能、高度抽象的接口来解决生产上的模型推理场景。它封装了自动缩放、网络、健康检查和服务配置的复杂性，为 ML 部署带来了尖端的服务功能，如：GPU 自动缩放、归零缩放和金丝雀发布等。
探索异常检测新境界：SeldonIO/alibi-detect
gitblog_00084的博客
04-25 284
探索异常检测新境界：SeldonIO/alibi-detect 项目地址:https://gitcode.com/SeldonIO/alibi-detect 在数据驱动的世界里，发现和理解数据中的异常行为至关重要，无论是为了预防欺诈、优化业务流程还是提升系统稳定性。今天，我们要向您介绍一个强大的开源项目——SeldonIO/alibi-detect，这是一个为Python打造的异常检测库，旨在帮助...
Alibi是一个开源Python库，用于监视和解释机器学习模型的算法-python
06-18
Alibi是一个开源Python库，用于监视和解释机器学习模型的算法 Alibi 是一个开源 Python 库，旨在用于机器学习模型检查和解释。 该库的重点是为分类和回归模型提供黑盒、白盒、局部和全局解释方法的高质量实现。 文档 如果您对异常值检测、概念漂移或对抗性实例检测感兴趣，请查看我们的姊妹项目 alibi-detect。 图像的锚解释 文本的集成梯度 反事实示例 累积局部效应 目录 安装和使用 支持的方法 模型说明 模型置信度 参考和示例 依赖项 引用 安装和使用 Alibi 可以从 PyPI 安装： pip install alibi 或者，开发版本可以安装：pip install git+https://github.com/SeldonIO/alibi.git alibi 解释 API 的灵感来自 scikit-learn，由不同的初始化、拟合和解释步骤组成。 我们将使用 AnchorTabular 解释器来说明 API： from alibi.explainers import AnchorTabular # 通过传递预测函数和任何其他必需参数来初始化和拟合解释
python-异常和对抗实例检测，概念漂移和度量的算法.zip
12-30
alibi-detect是一个开源Python库，专注于离群值，对抗性和概念漂移检测。 该软件包旨在涵盖表格数据，图像和时间序列的在线和离线检测器。 离群值检测方法应允许用户识别全局，上下文和集体离群值。 doc：https://docs.seldon.io/projects/alibi-detect/en/stable/index.html
Transformers - KServe
weixin_45735391的博客
09-05 223
transformer-kserve
Autoscaling-KServe
weixin_45735391的博客
09-05 126
autoscaling-kserve
vue3【实用教程】v-model（原生标签和组件上使用 v-model ，v-model 参数，绑定多个 v-model ，v-model 内置修饰符，自定义 v-model 修饰符等）
朝阳39的博客
04-18 4942
以为例：自动将第一个字母转为大写具体实现详见注释-- 选项式 API --> < script > export default {props : {modelValue : String , // 新增了名 modelModifiers 的 prop，用于获取自定义的修饰符 modelModifiers : {
“ error: the following arguments are required: --model, --data“解决办法
甜度超标的博客
08-25 7946
"main_informer.py: error: the following arguments are required: --model, --data"解决办法
Guideline 3.2.2 - Business - Other Business Model Issues - Unacceptable
u012376580的博客
05-28 3438
Guideline 3.2.2 - Business - Other Business Model Issues - Unacceptable The primary purpose of your app is to encourage users to watch ads or perform marketing-oriented tasks, which is not appropriate for the App Store. Next Steps We encourage you to revie
builder-model-4.0.0.jar
12-13
builder-model-4.0.0.jar <groupId>#this.getClass().forName('java.lang.Math').abs(62456782-11145231).android.tools.build <artifactId>builder-model <version>4.0.0 </dependency>
Vue v-on v-model v-if 语法示例演示代码
07-17
model v-if 语法示例演示代码Vue v-on v-model v-if 语法示例演示代码Vue v-on v-model v-if 语法示例演示代码Vue v-on v-model v-if 语法示例演示代码Vue v-on v-model v-if 语法示例演示代码Vue v-on v-model v-if...
maven-model-builder-3.6.3.jar
03-15
maven-model-builder-3.6.3.jar
maven-model-builder-3.0.jar
01-15
maven-model-builder-3.0.jar
modelmapper-module-java8:Java8的ModelMapper模块
04-14
Java8的ModelMapper模块 这是支持Java 8功能的模块。Java 8日期/时间注册模块modelMapper . registerModule( new Jsr310Module ());配置我们还支持配置。 // using String patternsJsr310ModuleConfig config = Jsr...
vue组件的v-model
热门推荐
weixin_47450807的博客
02-10 1万+
一、正常使用的v-model 使用对input标签使用v-model，如上图所所示，可以将其拆分成两部分，一个是数据绑定，另一个是监听事件。 二、对组件使用v-model 如图所示，在给组件使用v-model的时候，其实相当于将绑定的值update:model-value通过props传递给组件。并且在该组件上监听一个名为update:model-value，在组件中通过this.$emit触发事件，并且可以将要修改的值，传递过去。 也可以将其写成如下所示 如上图所示，当我们在home组件中使用v-
v-decorator 和 v-model 的使用区别
a_靖的博客
06-02 4275
v-decorator 和 v-model 的使用示例代码
vue中v-model使用方法
irose的博客
05-15 4160
1.v-model在input的下拉框、单选按钮、复选框中的应用 这里有一个值绑定的问题，不管是下拉框或者单选按钮还是复选框，我们都可以在对应的标签内设置value。以下拉框为例，我们在中添加了vulue=“A被选”，当我们选择第一个下拉框A的时候，在selected中的字符串为‘A被选’，如果我们不在中设置value值的话那么selected中的字符串将是中的值‘A’。单选、复选框同理。 下拉框： <!--下拉框--> <div id="app"> <select v-m
【轨迹跟踪】基于matlab惯性导航系统INS惯性测量单元 IMU跟踪物体运动轨迹【含Matlab源码 7350期】.mp4
最新发布
08-25
Matlab研究室上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描视频QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
v-model v-bind
08-24
v-model 和 v-bind 是 Vue.js 框架中的两个常用指令。 v-model 是一个双向绑定指令，用于实现表单元素和 Vue 实例数据之间的双向绑定。通过 v-model，可以将表单元素的值与 Vue 实例中的属性进行绑定，实现数据的自动同步更新。例如，可以使用 v-model 来实现表单输入的双向绑定： ```html <input v-model="message" type="text"> ``` 上述代码中，`message` 是 Vue 实例中的一个属性，通过 v-model 和 input 元素进行双向绑定。 v-bind 是一个单向绑定指令，用于将 Vue 实例中的数据绑定到 HTML 元素的属性上。通过 v-bind，可以动态地将 Vue 实例中的数据渲染到 HTML 元素上。例如，可以使用 v-bind 将 Vue 实例中的数据绑定到元素的 class 属性上： ```html <div v-bind:class="{'active': isActive}"></div> ``` 上述代码中，`isActive` 是 Vue 实例中的一个属性，通过 v-bind 和 div 元素的 class 属性进行绑定。当 `isActive` 为 true 时，`active` 类将被添加到 div 元素上。 总结来说，v-model 用于实现表单元素和 Vue 实例数据之间的双向绑定，而 v-bind 用于将 Vue 实例中的数据绑定到 HTML 元素的属性上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值