《LightSeq: A High Performance Inference Library for Sequence Processing and Generation》阅读笔记
LightSeq的技术亮点主要在于定制的Operation、动态GPU内存复用和层级的解码优化,本文对这三方面分别做个粗浅的介绍。论文链接:https://arxiv.org/pdf/2010.13887.pdf1 定制的Operation大多数深度学习框架通过调用方法库中的kernel function来实现编码器-解码器计算。这些kernel function一般是细粒度的,通常需要调用多个kernel function来实现一个功能模块。以tensorflow实现的layer nor.
原创
2021-01-12 21:51:31 ·
278 阅读 ·
0 评论