语音合成（TTS)论文优选：Forward Attention in Sequence- To-Sequence Acoustic Modeling for Speech Synthesis

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Forward Attention in Sequence- To-Sequence Acoustic Modeling for Speech Synthesis 

本文章是中国科学技术大学语音与语言信息处理国家工程实验室2018年发表的文章，时间较早了，主要提出了更加鲁棒性的forward attention，具体的文章链接 https://arxiv.org/pdf/1807.06736.pdf  （stepwise文中提到该attention，为了总结全一些，就看一下）

1 背景

基于attention的encoder-decoder架构的语音合成系统效果很好，但现有的attention的效果存在漏字，重复等问题。受到音素序列和声学特征序列单调性对齐现象的启发，本文提出了forward attention，使其更加鲁棒，收敛更快。

2 详细设计

 decoder的每一步输入的context vector的计算公式为公式1，其中y为attention的对齐情况，通用的attention的计算公式为2-3。有的attention添加convolutional feature如公式4-5。

本文提出了forward attention,只有满足单调性的路径才被考虑。如图2所示，decoder的计算步骤0到T，对输入x序列为SIL m ao SIL。则所有的路径空间为箭头组成的路径。对于decoder的每一步和输入序列的对齐概率为公式7（路径概率），而且该概率可以递归求取，如公式8。公式9则为了使概率和为1。详细的计算步骤如算法1展示。

另外本文提出了transition agent，可以更灵活的控制对于音素是否移动，而且调节DNN中的bias可以控制语速快慢，具体算法2所示。

3 实验

首先对比baseline和forward attention了使用window和convolution feature等策略的效果。由table 1可知，forward attention + conv.feats效果最好。

接下来，看一下收敛速度，由图2显示，fA-Ta对齐速度很快。其次，合成语音的自然度对比，table2显示使用TA比不使用效果好，也比使用功convolution feature效果好。FA-TA比baseline和LSTM的效果好。

最后，看一下改变DNN的bias调节语速，图3展示调节bias后合成语音长度和不修改bias的比值，可以看出该参数可以调速。

4 总结

本文根据输入的音素序列和声学特征序列是单方向的关系，提出forward attention，实验结果不错。