(五十八):Semi-Autoregressive Transformer for Image Captioning
- 出处:CoRR abs/2106.09436 (2021)
- 代码:https://github. com/YuanEZhou/satic
- 题目:用于图像字幕的半自回归变压器
- 主要内容:引入了一种半自回归的图像字幕模型(SATIC),该模型在全局中保持了自回归特性,在局部中保持了非自回归特性。
Abstract
目前最先进的图像字幕模型采用:自回归解码器,即它们通过对之前生成的单词进行条件反射来生成每个单词,这导致了推断过程中的严重延迟。
为了解决这个问题,最近提出了:非自回归图像字幕模型,通过并行生成所有单词,显著加快推理速度。然而,这些非自回归模型由于过度消除了单词依赖,不可避免地会出现较大的生成质量下降。
为了在速度和质量之间做出更好的权衡,我们引入了一种图像字幕的半自回归模型(SATIC),该模型在全局中保持了自回归特性,但在局部中并行生成单词。在Transformers的基础上,只需要进行少量的修改就可以实现SATIC。
在MSCOCO图像字幕基准上的实验结果表明,SATIC可以在没有附加功能的情况下实现良好的平衡。
- 代码可在http