Tactron 2学习笔记2 encoder篇

Tactron 2 模型结构总览

上图是tactron 2论文中关于tactron 2的框架示意图。图中最下面一行就是Tactron 2的encoder部分，总体来说还是比较简单的，包括1个embeding层，3层卷积，最后接1个双向lstm层。

代码部分

     在Tactron 2的tf实现代码里，作者定义了EncoderConvolutions和EncoderRNN两个类来表示编码器的卷积层和lstm层，然后将上述两层一起封装到TacotronEncoderCell里面，这样就构成了整个encoder部分。
     深入到EncoderConvolutions类里面，可以看到该类里面主要是用到的是 tf.layers.conv1d，简单说一下conv1d这个运算，它跟常用的conv2d的区别主要是它只在列上滑动。比如，我们的文本通过embeding层之后，变成了一个imput=[num_words, embeding_dim]大小的矩阵，我们使用conv1d的时候需要定义一个kernel_size, 然后定义embeding_dim大小的channel，然后计算该层的输出。在这里，该层可以认为可以捕捉到n-gram信息，可以弥补后面lstm对长距离的信息建模不是很好的缺点。
     进入EncoderRNN类中，可以看到里面是一个典型的bi-lstm，不用多讲，值得注意的是里面用到了一个zoneout的trick，有兴趣可以搜一下这个方法。
    最后就是TacotronEncoderCell，将上述两个层包裹进来，它输出的就是encoder结果。