AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本

1 篇文章 1 订阅

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

人工智能推理场景下,EAIS.EI让用户可以自定义GPU算力规模。据介绍,该产品可节省最高达50%的推理业务成本,目前EAIS.EI实例支持Tensorflow、Pytorch等主流深度学习框架,最高支持FP32 19.5 TFlops、FP16 混合精度312 TFlops的运算。

发布会传送门

产品详情

无论你是在逛淘宝还是刷抖音,人工智能都在背后疯狂计算,短视频推荐、拍照AI美颜,就连点外卖,人工智能都在帮外卖小哥优化路线。

人工智能崛起的燃料之一,就是跟通用处理器CPU有着不同专长的GPU异构加速器。在计算能力方面,如果说CPU是通才,GPU就是专才,非常擅长深度学习和图像处理,因此在人工智能、直播和短视频火热的今天大放异彩。

然而,不同的深度学习应用所需要的CPU、GPU和内存等计算资源的比例并非完全一样,云服务器受限于规格,往往只有特定数个比例。在某些情况下,就会造成资源闲置,尤其在推理场景中尤为明显。深度学习应用分为训练和推理两个过程,推理计算需求由于跟业务量紧密相关,往往是总运营成本的大头,最高占到90%成本。

EAIS为客户提供了一个异构算力池,用户可以将需要的GPU资源附加到任何一款阿里云ECS服务器中,根据不同应用需求灵活优化CPU/内存与GPU之间的比例,匹配适合的资源组合,有效提升资源利用率。

另外,AI推理计算业务通常伴随着业务的周期性的峰谷变化,EAIS.EI实例配合弹性伸缩ESS快速感知业务变化,实现高效的业务运维,提升业务弹性。资源的精准组合加上云服务的弹性,将大大降低成本。

阿里云异构计算产品负责人透露,除了推理场景之外,未来,弹性加速计算实例还将覆盖图形图像与多媒体计算编码场景,甚至实现含光800与CPU/内存的解耦。

弹性加速计算实例,将与神龙AI加速器和cGPU容器技术,一起组成阿里云异构计算的三大特色优势,为用户提供灵活高效、性能超群的异构计算基础设施。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值