LightSeq库通过定制Operation、动态GPU内存复用和层级解码优化，提升深度学习推理效率。其将layer normalization等操作优化为一次性kernel launch，减少GPU内存操作。预分配最大动态shape并复用内存，支持多个大型Transformer模型同时部署。此外，LightSeq采用层级解码策略，结合GPU计算特性，加速beam search等方法，显著提高序列生成速度。
LightSeq的技术亮点主要在于定制的Operation、动态GPU内存复用和层级的解码优化，本文对这三方面分别做个粗浅的介绍。
论文链接：https://arxiv.org/pdf/2010.13887.pdf
1 定制的Operation
大多数深度学习框架通过调用方法库中的kernel function来实现编码器-解码器计算。这些kernel function一般是细粒度的，通常需要调用多个kernel function来实现一个功能模块。
以tensorflow实现的layer normalization为例，即使基于compilation optimization techniques （automatically merging broadcast and element-wise operations），仍需要三个kf和两个中间结果（mean and variance）的读写operation。
基于CUDA，我们可以为layer normalization写一个定制的kf，并且将两个中间结果写入到寄存器中，从而只需一次kernel launch且不需要将中间结果写入到gpu内存中，大幅减少了计算耗时。
基于这个idea，LightSeq结合cuBLAS的GEMM和定制kf来实现Transformer layers：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
