本文介绍了UniVAE模型，这是一种结合Transformer的单模型、多尺度的VAE，它沿用了UniLM的思路，通过特定的Attention Mask实现。UniVAE在Transformer中实现了Encoder和Decoder权重共享，具备多尺度特性，可用于文本生成和解耦能力的研究。模型通过调整Attention Mask，以[CLS]向量作为固定大小的编码源，形成多尺度结构，且可通过编辑不同层级的输入变量控制生成结果。此外，UniVAE还可用于构建VQ-VAE。
©PaperWeekly 原创 · 作者 | 苏剑林
单位 | 追一科技
研究方向 | NLP、神经网络
大家都知道，Transformer 的 复杂度是它的“硬伤”之一。不过凡事有弊亦有利，
UniVAE：基于Transformer的单模型、多尺度的VAE模型
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
