新国立尤洋：夸父AI——用于大规模并行训练的统一深度学习系统

智源社区

于 2021-12-30 14:28:23 发布

阅读量2.6k

点赞数 1

文章标签：大数据算法机器学习人工智能深度学习

本文链接：https://blog.csdn.net/BAAIBeijing/article/details/122248435

版权

本文介绍了「夸父」AI系统，旨在解决深度学习模型与硬件之间的不匹配问题，提供高效并行训练。文章讨论了数据并行、流水线并行、模型并行等并行策略，以及LARS/LAMB算法优化大批次训练。此外，还介绍了「夸父」系统的6D并行、隔离性、模块化、拓展性和兼容性特点。

摘要由CSDN通过智能技术生成

【专栏：前沿进展】自十年前AlexNet等模型在计算机视觉领域大放异彩，深度学习算法逐渐流行起来。近年来，BERT等大模型深受大公司喜爱，自2018年至今，最顶尖的大模型的规模越来越大，如GPT-3有1750亿参数，2021年的Switch Transformer达到了1.6万亿参数，智源“悟道”模型更是达到了1.75万亿参数。由此，OpenAI做出了一个预测：顶尖的AI模型每3.5个月更新换代一次。而与之对应的，内存的更新换代速度却在35个月左右。也就是说，AI模型的翻倍速度十倍快于内存的翻倍速度，这就导致了AI应用与硬件的不匹配。

本文整理自青源 LIVE 第 33 期，视频回放链接：

https://hub.baai.ac.cn/live/?room_id=209

主讲：尤洋

整理：牛梦琳

审校：李梦佳

主讲人：尤洋是新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor)，加州大学伯克利分校博士。尤洋的研究专长包括高性能计算，并行算法，以及机器学习。他曾以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的Best Paper Award(0.8%获奖率)和国际并行处理大会(ICPP)的Best Paper Award(0.3%获奖率)。尤洋曾获清华大学优秀毕业生，北京市优秀毕业生，国家奖学金，以及当时清华大学计算机系的西贝尔奖学金。他还在2017年获得美国计算机协会(ACM)官网上颁给优秀在读博士生的ACM-IEEE CS George Michael Memorial HPC Fellowship。他也获得了颁发给伯克利优秀毕业生的Lotfi A. Zadeh Prize。他还被伯克利提名为ACM Doctoral Dissertation Award候选人(81名博士毕业生中选2人)。他在2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。

更多信息请查看研究小组主页(https://ai.comp.nus.edu.sg/) 。