语音处理 之 fastspeech代码

Normal Distribution 称为正态分布，也称为高斯分布，Truncated Normal Distribution一般翻译为截断正态分布，也有称为截尾正态分布。

截断正态分布是截断分布(Truncated Distribution)的一种，那么截断分布是什么？截断分布是指，限制变量xx 取值范围(scope)的一种分布。例如，限制x取值在0到50之间，即{0<x<50}。因此，根据限制条件的不同，截断分布可以分为：

2.1 限制取值上限，例如，负无穷<x<50
2.2 限制取值下限，例如，0<x<正无穷
2.3 上限下限取值都限制，例如，0<x<50
正态分布则可视为不进行任何截断的截断正态分布，也即自变量的取值为负无穷到正无穷；满简单的，能理解。

现在你必须要对它进行整体的理解。

fastspeech与fastspeech实际上用了相同的layer而已。FFT是快速傅里叶变换。

Multi-Head-Attention，相当于h个不同的self-attention的集成，在《Attention Is All You Need》一文中，h=8。然后将所有的self-attention所有节点的值相加并进行归一化。

基本就是如此了，接下来就是要搞懂这个model的全部细节。

Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。

Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。

model里有非常多的回调函数，而绝大多数都经常使用的

如果你用自己的语言弄明白它的算法，你就真的都懂了

前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。

就是最普通的呗。

以英语-法语翻译为例，给定一对输入序列“they a