本文探讨了Transformer模型在处理长序列时面临的计算和存储成本问题，并基于TransformerXL提出了一种记忆压缩方法。通过注意力重建损失来优化记忆压缩，确保效果的同时减少内存占用。训练与测试的不一致性问题也在文中被提及。实验表明，该方法在长距离依赖的建模任务上表现出色，尤其是在新提出的基准数据集上。
Compressive transformer for long-range sequence modelling
问题：Transformer关注每一个时间步的computation cost以及保存大量记忆的storage cost。---->以TransformerXL（扔掉比较旧的记忆）为基点，将旧记忆进行压缩。
方法：
几个难理解的点：
（1）额外设计的cost：
attention reconstruction cost：
计算loss时要清除掉这个loss流往主干网络的梯度，只更新记忆压缩函数里的参数，设计这个loss的Motivation在于要使hidden states从原来记忆中查询到的结果尽量相同，以达到压缩记忆占较小的内存同时不影响效果。
（2）
原因可能是：训练时输入的句子不一定是连续的（提升训练效率），但测试的时候输入的句子一
最低0.47元/天 解锁文章
扫一扫
18万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
