MArk: Exploiting Cloud Services for Cost-Effective,SLO-Aware Machine Learning Inference Serving

最新推荐文章于 2024-07-22 21:21:48 发布
最新推荐文章于 2024-07-22 21:21:48 发布
阅读量427 收藏 9
点赞数 10
文章标签： 人工智能 ai 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51802743/article/details/135838859
版权

优化目标：SLO合规性、成本效益

采取三大措施：1、动态性地对请求做批处理，2、使用预测性自动放缩来以低成本隐藏配置延迟，3、根据推理服务的无状态特性，使用无服务实例来处理难以预测的高请求率时刻

要建立一个Model Ark系统，提供低延迟、成本效益好的推理服务系统

大致是利用IaaS的成本效益好的特性，再利用FaaS的（高扩展性）突发请求处理能力（）

对于EC2、ECS而言配置开销时间长，特别是加载大模型时，高启动开销，需要数十秒的启动开销，而FaaS能够快速生成推理实例并处理请求，而不会产生额外的开销

后续对IaaS，CaaS，FaaS的成本效益做出评价，最终选择IaaS作为主要model serving基础，再结合FaaS的高扩展性；后续还考量了IaaS在不同CPU类型下，不同IaaS实例大小情况下的工作性能，以及CPU,GPU,TPU的推理延迟和成本消耗，最后选出小型IaaS实例，并且采用GPU有更好的成本效益以及低处理延迟

Liasplf
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【图像超分/扩散模型】论文精读：Exploiting Diffusion Prior for Real-World Image Super-Resolution（StableSR）
畅游计算机视觉的海洋
03-26 7158
我们提出了一种新的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识进行盲超分辨率(SR)。具体来说，通过使用我们的时间感知编码器，我们可以在不改变预训练的合成模型的情况下实现有希望的恢复结果，从而保留生成先验并最小化训练成本。为了解决扩散模型固有随机性造成的保真度损失，我们采用了一个可控的特征包装模块，该模块允许用户在推理过程中简单地调整标量值来平衡质量和保真度。此外，我们开发了一种渐进聚合采样策略来克服预训练扩散模型的固定大小约束，从而能够适应任何大小的分辨率。
CVPR 2021 Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
smile909的博客
03-28 1327
动机 视觉目标跟踪是计算机视觉中的一项基本任务。尽管最近取得了一些进展，但由于遮挡、变形、外观变化等因素的影响，它仍然是一项具有挑战性的任务。 在视频目标跟踪任务中，现有的跟踪器中被忽略了连续帧之间存在着丰富的时间上下文信息。 方法 为了在独立的视频帧之间建立桥梁，并传递丰富的时间线索。提出了一种新的transformer辅助跟踪框架。由于提出的transformer接收图像特征嵌入，共同将这些图像特征嵌入归一化到实例（图片块）级，以保留有价值的图像幅度信息。将transformer编码器和解码器在这
（论文阅读2017WWW）What Your Images Reveal: Exploiting Visual Contents forPoint-of-Interest Recommendation
qq_51971236的博客
01-13 1358
论文阅读
SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation
不忘初心~
10-12 1854
作者通过一种新的 self-occlusion 以建立一个两层的三维物体表示，从而大大提高端到端6D位姿估计的准确性。采用单个RGB图像作为输入，生成2D-3D对应，利用共享编码器和两个独立解码器的生成自遮挡信息，然后融合两个输出，直接回归6DoF位姿参数。结合 align correspondences、selfocclusion 和6D姿态的跨层一致性，可以进一步提高准确性和鲁棒性，并且在各种具有挑战性的数据集上超越或与所有其他 soat 的方法相匹敌。
论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
夏栀的博客
10-15 4927
论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference   随着GPT-3模型的提出，现在的预训练模型形成了一个全新的无监督范式——引入task description （demostration）。本文，我们引入Pattern Exploiting Training (PET) 方法，将输入样本转换为一种完形填空（cloze-style）的类型文本帮助语言模型理解任务，并
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks
Acmer_future_victor的博客
03-12 4155
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks Gather-Excite：在卷积神经网络中利用特征上下文 Abstract 尽管在卷积神经网络（CNN）中使用自底向上的局部运算符可以很好地匹配自然图像的某些统计信息，但它也可能阻止此类模型捕获上下文的远程特征交互。在这项工作中，我们提出了一种简单，轻量级的方法，以在CNN中更好地利用上下文。我们通过引入一对运算符来做到这一点：Gather，可以有效地在很大的
On-Device Neural Net Inference with Mobile GPUs
既然选择了远方 便只顾风雨兼程 - 永强
11-25 1975
On-Device Neural Net Inference with Mobile GPUs
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
王东辉的博客
03-29 3057
Transformer Meets Tracker:Exploiting Temporal Context for Robust Visual Tracking前言一、Abstract二、Contribution三、Method1、Revisting Tracking Frameworks 前言 论文 代码 一、Abstract 在视频对象跟踪中，连续帧之间存在丰富的时间上下文，在现有的跟踪器中已大大忽略了这些上下文。在这项工作中，我们桥接单个视频帧，并通过一个用于稳固对象跟踪的转换器架构探索它们的时间上下
论文阅读（联邦学习）：Exploiting Shared Representations for Personalized Federated Learning
qq_43250196的博客
02-13 2710
论文阅读（联邦学习）：Exploiting Shared Representations for Personalized Federated Learning
【深度学习】PyTorch框架(6)：GNN图神经网络理论和实践
MUKAMO的博客
07-19 1007
本文深入探讨了神经网络在图结构数据处理中的应用，介绍了图的邻接矩阵和边列表表示方法，以及图卷积网络（GCN）和图注意力网络（GAT）的实现。实践表明，图信息对提升预测模型性能至关重要，GNNs在社交网络、生物信息学、交通优化和推荐系统等领域具有巨大潜力，未来在AI领域将扮演更重要角色。
2024年7月16日~2024年7月22日周报
最新发布
m0_53096519的博客
07-22 737
本周完成论文初稿、5000小实验以及数据训练方式初了解。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 229
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 519
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
ChaosMeta for AI：混沌工程让AI稳定性更上一层楼
samson
07-18 685
混沌工程的核心思想是“通过在真实环境中引入故障，评估和提升系统的稳定性”。在实际应用中，这意味着通过故意制造各种错误和故障，观察系统的表现，从而找出和修复系统的脆弱点。随着AI系统逐渐成为现代技术的支柱，混沌工程的应用范围也在不断扩展。输出内容：模拟历史已发生的故障，如输出乱码，通过注入代码篡改故障，检验系统的容错能力，确保终端用户看到的是稳定可用的内容。任意代码篡改：模拟意外代码修改对输出的影响。输入内容：通过对抗性样本测试，确保模型的合规合法，符合伦理道德标准。
大模型面经
weixin_43744732的博客
07-19 1171
大模型，面试，八股文
嵌入式人工智能（13-基于树莓派4B的指纹识别-AS608）
u010152658的博客
07-20 959
AS608的接线头有防呆口，插上即可，只用到4根线，VCC接USBToTTL的VCC（注意这里要接3.3V，否则容易损坏，将黄色的跳线帽连接5V与VCC引脚，AS608插到3.3上面），AS608的GND接USBToTTL的GND，AS608的TX接USBToTTL的RXD，AS608的RX接USBToTTL的TXD。每个人的指纹纹路都是独一无二的，通过将指纹与事先存储的指纹数据库进行比对，可以确定是否为同一人。(2)高像素：采用高像素的光学传感器，能够捕捉到丰富的指纹信息，提高指纹识别的精确度。
大模型日报 2024-07-20
weixin_40262196的博客
07-21 496
OpenAI发布了针对应用开发者的GPT-4o mini模型，取代了旧版的GPT-3.5模型。: 研究开发了一个基于游戏Baba Is You的新基准，测试了三种多模态大型语言模型，发现它们在需要操控和组合游戏规则时表现不佳。: 谷歌AI发布了一篇关于FLAMe的论文，这是一种基础大型自动评估模型，旨在为复杂多样的大型语言模型提供可靠且高效的评估方法。: 研究表明，通过Prover-Verifier游戏训练算法，提升了大语言模型在解决数学问题时的输出可读性和人类验证准确率。
定制化智能：Mojo模型与自定义损失函数的深度融合
2401_85439108的博客
07-22 303
Mojo模型通常指的是H2O.ai的机器学习平台中的模型导出功能，它允许将训练好的模型转换为一个轻量级的Java模型，方便在生产环境中部署和使用。Mojo模型通常包括模型的参数、结构和预处理步骤。自定义损失函数允许开发者根据特定问题的需求，设计出更适合问题的损失函数，从而提高模型的预测准确性和泛化能力。在某些复杂的机器学习问题中，如不平衡数据集或具有特定业务目标的场景，自定义损失函数显得尤为重要。
基于深度学习的故障检测
weixin_42605076的博客
07-20 892
基于深度学习的故障检测是一项利用深度学习技术对设备、系统和结构的运行数据进行分析，以检测、识别和预测潜在故障的技术。其应用范围广泛，包括工业设备监控、制造系统故障检测、交通系统安全监测等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值