pytorch如何使用半精度模型部署
背景
pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外,最近也把pytorch应用在了部署上.在部署时,为了减少计算量,可以考虑使用16位浮点模型,而训练时涉及到梯度计算,需要使用32位浮点,这种精度的不一致经过测试,模型性能下降有限,可以接受.但是推断时计算量可以降低一半,同等计算资源下,并发度可提升近一倍
具体方法
在pytorch中,一般模型定义都...
原创
2020-04-25 13:04:06 ·
5610 阅读 ·
13 评论