- 博客(1)
- 收藏
- 关注
原创 MoCha——单调块注意力模型
MoCha——单调块注意力模型 1.概述 加了soft attention的seq2seq模型,在很多领域取得了广泛的应用,例如机器翻译、词性标注等NLP任务,因为它们都可以看成是序列到序列的问题。但是对于语音问题,这个模型存在很明显的弊端: 时间复杂度很高: 因为对于soft attention的模型来说,decoder的每一个输出要计算encoder的每一个隐含状态的对应权重,所以时间复杂度为O(UT),其中U代表输出序列的长度,T代表输入序列的长度。对于语音任务来说,10ms的帧移就意味着1s的音频
2021-06-19 00:23:51
1109
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人