声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
Forward Attention in Sequence- To-Sequence Acoustic Modeling for Speech Synthesis
本文章是中国科学技术大学语音与语言信息处理国家工程实验室2018年发表的文章,时间较早了,主要提出了更加鲁棒性的forward attention,具体的文章链接 https://arxiv.org/pdf/1807.06736.pdf (stepwise文中提到该attention,为了总结全一些,就看一下)
1 背景
基于attention的encoder-decoder架构的语音合成系统效果很好,但现有的attention的效果存在漏字,重复等问题。受到音素序列和声学特征序列单调性对齐现象的启发,本文提出了forward attention,使其更加鲁棒,收敛更快。
2 详细设计
decoder的每一步输入的context vector的计算公式为公式1,其中y为attention的对齐情况,通用的attention的计算公式为2-3。有的attention添加convolutional feature如公式4-5。
本文提出了forward attention,只有满足单调性的路径才被考虑。如图2所示,decoder的计算步骤0到T,对输入x序列为SIL m ao SIL。则所有的路径空间为箭头组成的路径。对于decoder的每一步和输入序列的对齐概率为公式7(路径概率),而且该概率可以递归求取,如公式8。公式9则为了使概率和为1。详细的计算步骤如算法1展示。
另外本文提出了transition agent,可以更灵活的控制对于音素是否移动,而且调节DNN中的bias可以控制语速快慢,具体算法2所示。
3 实验
首先对比baseline和forward attention了使用window和convolution feature等策略的效果。由table 1可知,forward attention + conv.feats效果最好。
接下来,看一下收敛速度,由图2显示,fA-Ta对齐速度很快。其次,合成语音的自然度对比,table2显示使用TA比不使用效果好,也比使用功convolution feature效果好。FA-TA比baseline和LSTM的效果好。
最后,看一下改变DNN的bias调节语速,图3展示调节bias后合成语音长度和不修改bias的比值,可以看出该参数可以调速。
4 总结
本文根据输入的音素序列和声学特征序列是单方向的关系,提出forward attention,实验结果不错。