Kserve
文章平均质量分 90
weixin_45735391
如果年少无为,那就大器晚成吧;实在不行,就做个快乐的废物吧。
展开
-
Supported Model Frameworks/Formats - KServe
supported model frameworks/formats-kserve翻译 2023-09-09 22:51:21 · 372 阅读 · 0 评论 -
Multi-Framework Serving Runtimes-How to write a custom predictor-KServe
预处理程序使用BERT标记器将段落和问题转换为BERT输入预测处理程序使用PYTHON REST API调用Triton推理服务器后处理处理程序将原始预测转换为具有概率的答案请在此处找到代码示例。当开箱即用的服务运行时不适合您的需求时,您可以选择使用KServe ModelServer API构建自己的模型服务器,作为自定义服务运行时部署在KServe上。翻译 2023-09-09 16:35:08 · 168 阅读 · 0 评论 -
Model Serving Control Plane - KServe Documentation Website
model serving control plane - kserve翻译 2023-09-08 22:51:48 · 132 阅读 · 0 评论 -
Model Explainability - KServe
model explainability-kserve翻译 2023-09-06 01:09:17 · 86 阅读 · 0 评论 -
Inference Graph -KServe
inference graph-kserve翻译 2023-09-06 00:16:40 · 128 阅读 · 0 评论 -
Inference Observability -KServe
inference observablity-kserve翻译 2023-09-05 23:37:25 · 128 阅读 · 0 评论 -
Model Monitoring - KServe
由于在下面的样本输出中,不同的影响小于1,因此年龄大于25岁的申请人获得贷款的概率显著高于年龄小于或等于25岁的申请者获得贷款的可能性。在这个例子中,我们将研究我们部署的模型对年龄>25岁的人与年龄<=25岁的人的偏见,并看看债权人是否不公平地对待了这两者。我们将使用MNIST数据集,这是一个手写数字的数据集,并找到可能使模型错误预测分类的对抗性示例,从而显示模型对对抗性攻击的脆弱性。最后,现在我们已经收集了我们模型的一些预测及其相应的输入,我们将把它们发送到AIF服务器,以计算偏差度量。翻译 2023-09-05 23:01:30 · 103 阅读 · 0 评论 -
Node Scheduling -KServe
node scheduling-kserve翻译 2023-09-05 21:53:20 · 117 阅读 · 0 评论 -
Autoscaling-KServe
autoscaling-kserve翻译 2023-09-05 17:39:13 · 67 阅读 · 0 评论 -
Payload Logging-KServe
payload logging-kserve翻译 2023-09-05 16:31:01 · 64 阅读 · 0 评论 -
Request Batching-KServe
request batching-kserve翻译 2023-09-05 15:53:56 · 53 阅读 · 0 评论 -
Multi Model Serving - KServe
Multi Model Serving翻译 2023-09-05 10:50:18 · 139 阅读 · 0 评论 -
KServe Documentation Website
kserve翻译 2023-09-09 22:58:34 · 60 阅读 · 0 评论 -
Model Storage - KServe Documentation Website
Model Storage - KServe Documentation Website翻译 2023-09-05 00:38:42 · 93 阅读 · 0 评论 -
Rollout Strategies-Kserve
KServe支持推理服务的金丝雀发布。金丝雀发布允许新版本的推理服务接收一定比例的流量。Kserve支持具有多个步骤的可配置金丝雀发布策略。如果发布步骤失败,还可以回滚到以前的修订版来发布策略。翻译 2023-09-03 10:29:45 · 73 阅读 · 0 评论 -
First InferenceService - KServe Documentation Website翻译
部署一个具有预测器的推理服务翻译 2023-09-02 15:14:50 · 75 阅读 · 0 评论