本文分享了一篇在SC22国际顶会上被接收的论文,论文标题为“LightSeq2: Accelerated Training for Transformer-based Models on GPUs”。该研究深入探讨了LightSeq训练引擎在GPU上的算子融合和显存管理技术,实现Transformer等模型的训练加速。投稿过程中经历了多次修改和专业指导,最终在高性能计算领域顶级会议SC22上获得认可。
就在昨天,超算领域的国际顶会SC22放榜了,我们组的论文也被接收了,得分44332(4分制): 论文地址:https://arxiv.org/abs/2110.05722SC会议是什么?可能很多同学都没听过SC是什么会议,SC会议全称“高性能计算、网络、存储和分析国际会议”(The International Conference for High Performance Computing, N...