Tacotron2--attention

• 编码器：双向RNN，能保证感知到前向和后向的信息

  • Tacotron2编码器使用三层卷积赋予了神经网络类似于N-gram感知上下文的能力。

  • 使用卷积的好处，可以捕获长时依赖，也使得卷积的使用使得模型对不发音字符更鲁棒(know中k)

  • 编码器公式：

    

• 注意力机制：

  • 一般的注意力机制：

    • pic:

      

  • 基于内容的注意力机制：

    • 实质上就是把上一个解码器的输出和相应的输入元素连接