本文深入解析了语音合成系统的两个核心组件：合成器和GSTs的工作原理。合成器将文本输入转换为512维的character embedding，并介绍了如何通过参考B站视频获取简洁的训练代码框架。GSTs部分则详细解释了如何从梅尔频谱中提取风格特征，包括reference encoder的作用、style layer的输出等，读者可以进一步参考CSDN上的文章了解Style Tokens的概念。
一.合成器
1.合成器的文本输入被处理成512维的character embedding，具体如下图所示：
2.建议参考B站视频：语音合成超简洁训练代码框架二.GSTs
1.由于原Tacotron的encoder输出为256维度，与说话人编码器的输出speaker embedding(也是256维)连接后变为512维，为了匹配文本编码器的维数，每个token嵌入为512维。
2.梅尔频谱经过reference encoder后输出256维的嵌入，该嵌入与speaker embedding拼接得到512维的reference embedding，最后将reference embedding输入style layer得到512维的输出style embedding。
3.参考CSDN文章：论文阅读 Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis
扫一扫
11-10
1010
1010
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
