GitHub 2800颗星，支持GPT/Transformer，字节跳动这个开源项目是怎么来的？

AI 绘画、机器翻译、多轮对话……对于各类 AI 相关的功能来说，总有一个痛点，困扰着所有训模型的算法工程师们：

想要效果更好，那么 AI 模型一般都很大，耗费的算力更多不说，运行起来还更费时间；

如果希望模型小、运行快，那么效果通常不如前者好。

这就像天平的两端，算法工程师们常常需要根据不同场景和限定条件，在跑得快和效果好之间取得一个平衡。

因此，如果有一项技术可以在两者之间做好平衡，那么，它大概率会成为对业界有贡献的重要技术。

LightSeq 就是这样一项技术。

具体来说，LightSeq 是一个模型训练推理引擎，就像一个炼丹炉，Transformer/GPT/BERT 这种以体积大、效果好、但运行更耗时的 AI 模型都可以扔进去炼一炼，帮助它们提速。

而且 LightSeq 不仅可以在模型训练环节提速，让开发者更便捷的使用；也可以在推理环节提升运行速度，让各类 AI 模型更快地产出效果，降低 AI 翻译、AI 生成文字等任务的耗时，更好地服务用户。

自 2019 年开源以来，LightSeq 受到了很多机器学习从业者的欢迎，在 GitHub 上已经收获了超过 2800 颗星。

在做 LightSeq 之前，一个关于模型运行速度的问题一直让 Byte