云计算
文章平均质量分 92
误伤这又何妨
你应该认识我
展开
-
【论文阅读】Serving DNNs like Clockwork: Performance Predictability from the Battom Up
Arpan Gujarati是印第安人,哥伦比亚大学助理教授,研究方向涵盖实时系统、分布式系统、可靠性分析、调度问题等。这篇论文出自他作为博士后第一年写的文章,创新点很新,算是一个比较先驱的东西了。膜拜膜拜☺☺☺随着机器学习(ML)的不断发展,模型推理也变得越来越多。用户对于一个推理请求会有不同的需求(包括低时延、高吞吐量、低成本)。目前至少有100家公司正为加速机器学习推理而设计芯片。然而,对于高性能模型服务,软件瓶颈继续阻碍着硬件加速器的高效使用。原创 2023-10-24 21:01:56 · 112 阅读 · 0 评论 -
INFaaS: AutoMated Model-less Inference Serving
Francisco Romero 是一名Stanford的博士生,蛮有意思的是,他的研究领域并不是云计算,而是视觉方向。搜索近年写的文章,依然集中于video analytics,每年都有顶会顶刊,实属羡慕。接下来就不过多介绍了qaq(人家不搞云计算)。原创 2023-10-13 23:50:13 · 241 阅读 · 0 评论 -
恶补云计算
底层模型服务提供了一种托管和管理模型的方式,使用户可以方便地部署和使用模型,而无需关注底层的基础设施和细节。邻接矩阵(Adjacency Matrix):邻接矩阵是一种二维矩阵,其中矩阵的行和列分别表示图中的节点,矩阵中的元素表示节点之间的连接关系。在云计算领域,“full distributed model serving system”(完全分布式模型服务系统)是指一种用于部署和管理机器学习模型的系统,该系统能够在分布式环境中提供高性能和可伸缩性的模型推理服务。原创 2023-10-05 21:26:17 · 113 阅读 · 0 评论