腾讯工程师使用128块V100 GPU和Light框架，仅用2分31秒在ImageNet上训练28个epoch，达到93%的TOP5精度，打破世界纪录。他们通过数据预处理优化、多机多卡通讯提升、大batch调参策略等方法，旨在解决AI模型训练的复杂性和成本问题，相关技术已应用于腾讯云智能钛机器学习平台。
日前，腾讯工程师以2分31秒的成绩，成功打破128卡训练ImageNet的世界纪录。与之前保持的记录相比，快了整整7秒。“我们的实力还没有完全发挥，如果改用RoCE，这个成绩可以进一步提升到2分2秒”参与其中的腾讯工程师这样说。
Tips:ImageNet在图像处理领域非常有名，它是一个已完成标注的海量数据集，也是公认的图像处理算法试金石：谁的算法用了更少的训练资源、在更短的时间内训练完ImageNet，还能得到更高的准确率，谁的算法就能排名靠前。
具体点说，腾讯工程师们在25Gbps的VPC网络环境下、使用了128块型号为V100的GPU（业内称为128卡），并借助最新研制的Light大规模分布式多机多卡训练框架，仅耗时2分31秒训练28个epoch就能识别出ImageNet内的128万张图片内容，且TOP5精度达到93%。
那么，腾讯工程师们为什么要去攻破训练ImageNet的世界纪录呢？
一个明显的感知：AI模型越来越复杂了
随着AI的广泛应用，AI模型越来越复杂了：
最低0.47元/天 解锁文章
扫一扫
5309
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
