Tacotron的Attention出现问题的分析

最新推荐文章于 2021-12-14 11:57:35 发布
最新推荐文章于 2021-12-14 11:57:35 发布
阅读量352 收藏
点赞数
分类专栏： 研三-语音合成论文 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/110948530
版权

0. 说明

思磐问的问题, 但是晚上没有好好的回答(哭/(ㄒoㄒ)/~~), 也借着机会问了廖陈峰博士, 记录下来~

1. 原因

  1. attention是soft的, 所有的输入序列都过一遍, 很容易出现错误, 事实上真实的attention是单调且连续的
  2. 自回归模型对attention的要求会更高, 其中一步算错了, 后面基本全错
  3. attention跟生成mel-spectrogram是一起学习的, 增加了学习的难度

2. 解决方案

每个方面均对应一些论文

 

ruclion
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tacotron2--attention
咕噜咕噜
10-13 1245
编码器：双向RNN，能保证感知到前向和后向的信息 Tacotron2编码器使用三层卷积赋予了神经网络类似于N-gram感知上下文的能力。 使用卷积的好处，可以捕获长时依赖，也使得卷积的使用使得模型对不发音字符更鲁棒(know中k) 编码器公式： 注意力机制： 一般的注意力机制： pic: ......
Tacotron的Attention的优化: LSA，GMM和DCA
ruclion的专栏
12-18 658
0. 说明 是师弟问了个问题, 在这里记录下吧~ 问题 Hi，大家好，有人尝试过把Tacotron2(Nvidia 开源)中的LSA换成DCA(dynamic convolutional attention, Google2019年提出的)吗？我尝试了之后，发现总是对齐失败.原始论文是这篇，它总结并对比了LSA，GMM和DCA 1. 讨论 ...
tacotron2 & 注意力机制 & self-attention学习
Barbara‘s Blog
12-14 781
我们在机器翻译、语音识别、语音合成、语音转换等任务中，常常需要对序列数据进行处理，传统的方法不但繁琐且效果有限，目前常见的端到端seq2seq方法很值得学习。 1. 序列到序列 序列到序列最早应用于机器翻译领域，后面推广到语音合成等领域。该模型是针对输入和输出序列长度不相同的情况下，即建模两种不同域的映射关系。 序列到序列包含编码器(encoder)和解码器(decoder)两个部分。编码器和解码器常用LSTM等网络构成，将一个域的序列转换到另一个域的序列。 编码器网络负责接收源句子的embedding.
Tacotron 的基于 GMM Attention 的实现
ruclion的专栏
03-20 688
0. 说明 Tacotron 的基于 GMM Attention 的实现 (取自别人) 感谢 qq_43377742 的讨论~
Attention，Tacotron，WaveNet和LPCNet声码器等前沿方法详解
音视频开发进阶
05-11 600
作为语音交互的出口，语音合成是语音助手、车载导航、智能音箱、智能玩具、机器人等应用的必备功能，其效果直接影响人机交互的体验。此外，语音合成在AI音频内容创作与生成上也具有巨大的应用潜力：A...
attention
01-20
1.什么是Attention机制？ 当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一地方，换句话说，当我们目光移到别处时，注意力随着目光的移动也在转移，这意味着，当人们注意到某个...
Attention注意力机制.PPT
09-27
Attention注意力机制，在传统的CNN模型和transform模型中均广泛使用。本文就主要对基于transform的注意力机制进行展开： 1. Attention是什么 2. Attention为什么要引入到语音领域 3. Attention的优点 4. transform与...
attention rnn encoderdecoder
11-08
attention rnn encoderdecoder
Transformer Model: Attention without RNN
最新发布
10-15
深入浅出理解Attention机制 深入浅出理解Transformer原理 Transformer Model Attention for Seq2Seq Model Attention without RNN Self-Attention without RNN
基于Keras的attention实战
08-21
该代码为基于Keras的attention实战，环境配置： Wn10+CPU i7-6700 、Pycharm 2018、 python 3.6 、、numpy 1.14.5 、Keras 2.0.2 Matplotlib 2.2.2 经过小编亲自调试，可以使用，适合初学者从代码的角度了解...
Tacotron:位置相关注意力机制的PyTorch实施，用于鲁棒的长形式语音合成
04-14
定位相关的Tacotron 的PyTorch实现。 音频样本可以在找到。 可以在找到Colab演示。 图1： Tacotron（具有动态卷积注意）。 图2：示例梅尔谱图和注意图。 快速开始 确保您已安装Python 3.6和PyTorch 1.7或更高版本。 然后安装此软件包（以及）： pip install tacotron univoc 用法示例 import torch import soundfile as sf from univoc import Vocoder from tacotron import load_cmudict , text_to_id , Tacotron # download pretrained weights for the vocoder (and optionally move to GPU) vocoder = Vocoder .
Tacotron 的基于 Guided Attention 的实现
ruclion的专栏
03-20 424
0. 说明 和峰哥在讨论 DurING 的先 Force Alignment, 再 Attention 的机制优点时, 峰哥 (我也赞同) 说其实 Guided Attention 训练的时候差不多 只不过 Guided Attention 通过规则, 比较泛化的有了 Force Alignment 的味道, 所以也不能太过 "相信" (当然也要相信) DurING 的对齐思想 不过在 Inference 阶段, 确实Guided Attention 就没有显式帮上忙了, 但是 DurING 的机制可
TACOTRON:端到端的语音合成
左左左左想
07-09 1万+
由于最近在学习语音识别和语音合成方面的内容，整理了一些东西，本文为论文tacotron的笔记。tacotron主要是将文本转化为语音，采用的结构为基于encoder-decoder的Seq2Seq的结构。其中还引入了注意机制（attention mechanism）。在对模型的结构进行介绍之前，先对encoder-decoder架构和attention mechanism进行简单的介绍。其中纯属个人
Tacotron2讲解
岁月如歌
07-07 8984
参考博客： https://blog.csdn.net/whjkm/article/details/89321954#commentBox https://blog.csdn.net/yunnangf/article/details/79585089 github代码： https://github.com/NVIDIA/tacotron2 一、模型结构 模型结构上，tacotron2与tacotron基本类似，除了CBHG结构和Griffin结构上略有区别 Tacotron： Tacotron2： 二
Tacotron2 论文 + 代码详解
热门推荐
Just do it !
04-30 2万+
1. 概述 Tacotron2:一个完整神经网络语音合成方法。模型主要由三部分组成： 声谱预测网络：一个引入注意力机制（attention）的基于循环的Seq2seq的特征预测网络，用于从输入的字符序列预测梅尔频谱的帧序列。 声码器（vocoder）：一个WaveNet的修订版，用预测的梅尔频谱帧序列来生成时域波形样本。 中间连接层：使用低层次的声学表征-梅尔频率声谱图来衔接系统的两个部分。 ...
详解Attention、Tacotron、WaveNet、LPCNet声码器等前沿方法
Paper weekly
04-24 475
作为语音交互的出口，语音合成是语音助手、车载导航、智能音箱、智能玩具、机器人等应用的必备功能，其效果直接影响人机交互的体验。此外，语音合成在AI音频内容创作与生成上也具有巨大的应用潜力：A...
深入浅出讲解语音合成二：tacotron2及其改进方向
qq_41571456的博客
01-04 4736
传统的语音合成方案如Merlin、HTS等，依赖于fulllabel和匹配问题集的生成，导致前端的处理工作是非常繁琐的。近年来，为了减少前端的数据准备工作，诞生了tacotron等优秀的端到端语音合成方案。本文着重讲解一下在业界广受好评的tacotron2，其结合了seq2seq(序列到序列)、位置敏感注意力机制及其端到端的语音合成方法，非常值得学习。 1.序列到序列 序列到序列最早应用于机器...
【李宏毅NLP笔记】Tacotron 可以从哪些方面改进
Oner.wv的专栏
05-08 1283
作者:龚俊民(昵称:除夕)学校:新南威尔士大学方向:自然语言处理和可解释学习知乎:https://www.zhihu.com/people/gong-jun-min-74前言：...
Tacotron2
菜小白的博客
12-14 9897
Natural TTS Synthesis by Conditioning Wavenet On Mel Spectrogram predictions 本篇论文是Tacotron2官方发布的论文，主要讲述了该组在TTS方向的新的进展。Tacotron2在目前TTS领域有着十分重要的地位。 该系统由两个部分组成，一个部分是循环序列到序列的特征预测网络，将特征叠加到梅尔光谱图上，在该部分之后通过一个...
attention 情感分析
09-01
Attention在情感分析中起到了重要的作用。在情感分析任务中，我们希望能够识别文本或语音中的情感倾向，比如正面、负面或中性。Attention机制可以帮助模型在处理文本时更好地关注到关键信息，从而提高情感分析的性能。 通过引入Attention机制，模型可以根据当前时刻关注的位置来确定每个位置的注意力权重。换句话说，Attention机制可以使模型在处理文本时更加注重重要的词或短语，而忽略一些无关紧要的信息。这样可以提高情感分析模型对关键信息的感知能力，从而更准确地预测文本的情感倾向。 具体来说，当进行情感分析任务时，模型可以通过Attention机制来确定每个词对于情感分析的重要程度。模型可以根据词与情感之间的相关性，计算每个词的注意力权重。这样，模型在进行情感分析时可以更加关注那些与情感有关的词汇，从而更准确地预测文本的情感倾向。 总之，Attention机制在情感分析中可以帮助模型更好地关注到关键信息，从而提高情感分析的性能和准确性。引用<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [情感分类——Attention](https://blog.csdn.net/qq_40240102/article/details/101680415)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [情感分类——Attention(前篇续)](https://blog.csdn.net/qq_40240102/article/details/101697437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值