Transformer家族4 -- 通用性优化(Universal-Transformer)
于 2020-06-30 10:27:16 首次发布
Universal Transformer是谷歌提出的一种改进版Transformer,旨在解决原Transformer在某些简单任务上表现不佳的问题。通过引入时间步(step)和自适应计算时间(ACT),实现了循环递归,增强模型的通用性。实验表明,Universal Transformer在字符串任务和机器翻译上超越了原Transformer和LSTM。
摘要由CSDN通过智能技术生成