参考博客:
https://blog.csdn.net/whjkm/article/details/89321954#commentBox
https://blog.csdn.net/yunnangf/article/details/79585089
github代码:
https://github.com/NVIDIA/tacotron2
一、模型结构
模型结构上,tacotron2
与tacotron
基本类似,除了CBHG
结构和Griffin
结构上略有区别
Tacotron:
Tacotron2:
上图来自: https://blog.csdn.net/whjkm/article/details/89321954#commentBox
二、重点区别:
1、encoder
部分,使用了embedding + 3Conv_layers + Bi-directional_LSTM
2、attention
使用的是location sensitive attention
,可参考:https://www.cnblogs.com/mengnan/p/9527797.html
3、Pre_net
的dropout
是一直设置为 true
的(据说是根据实验效果),post_net中最后一层一般为linear
激活函数
4、最后的 mel_output_post
是经过 post_net
和 linear_projection
相加得到
5、多帧预测方面,虽然Tacotron2没有使用多帧,但是实现原理类似
三、代码部分
此博客已经讲的比较详细,建议使用上面的模型结构图,理清模型结构,再细读代码。https://blog.csdn.net/whjkm/article/details/89321954#commentBox