如何最大化机器学习服务器的利用率和可扩展性?

本文探讨了机器学习和深度学习中‘计算债务’的问题,即资源利用率低下导致的成本增加。计算债务是由于GPU、CPU和内存资源分配与实际利用率之间的差距造成的,主要由基础设施团队对AI项目缺乏可见性、资源浪费、生产力中断等因素引起。为减少计算债务,建议采用GPU加速技术、混合云基础设施、估算工具以及规模化MLOps等策略,提高利用率和可扩展性。
摘要由CSDN通过智能技术生成

全文共3059字,预计学习时长8分钟

 

如何最大化机器学习服务器的利用率和可扩展性?

图源:unsplash

虽然人工智能融合到商业具有很高的商业价值,但通常这个价值还不能抵消把模型应用到商业中所需的计算成本。机器学习和深度学习是计算密集型的学习,有人认为,除非云计算或本地计算成本降低,否则尽管具有空前的商业价值,也不值得付出这笔成本。

 

麻省理工学院的研究科学家兼《深度学习的计算极限》一书的作者尼尔·汤普森(Neil Thompson)在《连线》杂志上发表的文章中提到,Google、Facebook等众多组织已经建立了影响力广又能节约成本的模型,但由于计算成本高而导致这些模型无法盈利。

 

汤普森表示在最近的一些演讲和论文中表示,从事大型和前沿人工智能项目的研究人员开始抱怨,因为成本太高,他们无法测试多个算法设计,或者重新进行实验。

 

商业机构需要极大地完善计算效率的方法,以促进创新并提高人工智能工作的投资回报率。但是,高昂的计算成本以及人们对高效计算的关注并不应该就此背黑锅。

 

实际上,GPU加速基础架构和其他云供应商已经取得了重大的进步,极大提高了训练复杂人工智能网络的能力,这种速度是前所未有的。

 

2020年5月,DeepCube发布了基于软件的推理加速器,大大提高了所有现有硬件上的深度学习性能。换句话说,人们正在开发计算解决方案以满足机器学习和

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值