RNA,RNN-T模型总结

最新推荐文章于 2024-05-29 01:07:15 发布
最新推荐文章于 2024-05-29 01:07:15 发布
阅读量4.4k 收藏 6
点赞数
分类专栏： 李宏毅笔记---深度学习与人类语言处理 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45866407/article/details/105976302
版权

RNA与RNN-T笔记
首先，先来看什么是RNA呢？
在这里插入图片描述
其实我们可以发现RNA与CTC其实很相像，但是在输出部分其实进行了一系列优化，我们可以看到，在RNA中的前一个token其实对后一个是有影响的。将相当于RNA中有一种dependency关系。接下来我们看一看RNN-T（对RNA进行一系列优化）
在这里插入图片描述
我们可以看到最大的不太就是RNN-T的每一个h其实不止可以控制一个token，而且可以控制多个直到出现Ø（NULL）为止。
在这里插入图片描述
如上图所示，有几个Ø（NULL）就有几个h
在这里插入图片描述
那么，我们是怎样让前一个token其实对后一个是有影响呢？如下图
在这里插入图片描述
以每一个Ø（NULL）为结束，前一部分的token会对后面的输出产生影响。
在这里插入图片描述
在训练过程中呢，直接就用大量的数据进行训练就好，不用最开始就引入Ø（NULL），而且RNN-T也很适合进行训练。

桂花鱼_
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ASR-端对端模型02：RNN-T（RNN-Transducer）【Sequence Transduction with Recurrent Neural Networks】
u013250861的博客
05-29 138
而使用小的 vocabulary size， 可能会影响模型的性能。如果使用一个很小的 vocabulary size，那么对于 out-of-vocabulary (OOV) 这种问题，就会更加常见。而降低模型的参数量，也会影响模型的性能。所以，RNN-T 训练时，所需的内存正比于 N, T , U, C 这 4 个数的乘积 NTUC。相比较之下，RNN-T 模型的训练，对内存的要求高了一个数量级。RNN-T 模型最后一层的输出是一个 4-D 的 tensor，维度是 (N, T, U, C), 其中。
CTC与RNN-T的对比
最新发布
u013250861的博客
06-20 67
RNN-T模型将声学特性和语言特性联合起来建模，消除了CTC模型中输出无关的缺点。然而，这种引人注目的特性是以训练过程中高内存和计算消耗为代价的。具体来说，RNN-T损失函数在一个形状为(N, T, U, V)的4D张量上进行计算，其中N是批量大小，T是声学编码器的输出长度，U是预测网络的输出长度，V是词汇表大小。
RNN-T Training，RNN-T模型训练详解——语音信号处理学习（三）（选修三）
m0_56942491的博客
11-29 963
我们看下面这张表。在解码部分，LAS 和 RNN-T 会考虑前面的时序对当前时序的影响。而 CTC 并不会考虑之前的时间步已经生成出来的token。所以 LAS 和 RNN-T 在解码部分是相对比较强的。在对齐部分，CTC 和 RNN-T 都是需要考虑对齐的。而因为中间的注意力层，LAS不用显式地考虑对齐，而是采用 soft alignment，使用注意力机制来找出语音和文字之间的关系。在训练部分，LAS 只需要直接训练就行，而 CTC 和 RNN-T 则需要将所有的对齐方式概率相加，比较麻烦。
DLNLP学习笔记05（Speech Recognition: RNN-T模型）
GaLileo_C的博客
07-29 626
1 RNA (Recurrent NeuralAligner)，在CTC的输出端将线性分类器换成RNN，使得每一次token的输出都会参考前一刻输出的信息。 问题：RNA和CTC都是一个输入对应一个输出，不能进行一个输入对应多个输出。例如，th为两个token，但输入可能只有一个（th的发音很短，只有一个音，使得输入的语音为一个输入单位）。 2 RNN Transducer（输入端）：输入与输出标记Φ个数一致。 问题：与CTC一样，存在aligment问题。 3 输出端：在CTC的基础上，增加一个R.
强大的端到端语音识别框架—RNN-T
bbbeoy的专栏
08-31 4250
前言： 基于联结时序分类(CTC)的声学模型不再需要对训练的音频序列和文本序列进行强制对齐，实际上已经初步具备了端到端的声学模型建模能力。但是CTC模型进行声学建模存在着两个严重的瓶颈，一是缺乏语言模型建模能力，不能整合语言模型进行联合优化，二是不能建模模型输出之间的依赖关系。RNN-Transducer针对CTC的不足，进行了改进，使得模型具有了端到端联合优化、具有语言建模能力、便于实现Online语音识别等突出的优点, 更加适合语音任务。 RNN-T介绍： RNN-Transducer模型实际上是
Speech recognition模型：RNN Transducer(RNN-T)
u014765410的博客
10-17 1094
2，在output（token）上方，加了一个RNN，其input为token，当token为null时，则自动将其忽略。1，原始的训练数据为（语音，文本）对，但是，实际的模型训练时，需要的训练数据为paired train data，即（acoustic feature，token)，所以，需要对训练数据进行alignment。1，RNA中，将CTC的classifier改为了一个LSTM，使得模型在分类时，不单考虑了当下time step的h，同时也考虑了前一个time step的token。
ASR-端对端模型03：pruned RNN-T【改变RNN-T最后一层的输出维度，从(N, T, U, C)变成了(N, T, S, C)】
u013250861的博客
05-29 71
并且，使用 pruned RNN-T 训练的模型，已经在若干个大数据集上做到了 state-of-the-art （SOTA）的性能。截止目前，在不使用任何外部语言模型的情况下，pruned RNN-T 在 LibriSpeech test-clean 测试集 上的 WER 是 2.00， 在 test-other 上 的 WER 是 4.63。我们希望，pruned RNN-T 的开源，能够助力 RNN-T 在生产环境中的使用，缩短模型训练所需的时间，简化端到端模型的部署，为企业节约成本。
语音识别：经典模型【LAS、CTC，RNA，RNN-T、Neural Transducer，MoChA】
u013250861的博客
05-21 128
Text： a sequence of Token 长度：N，总种类数量：V。Sound： vectors sequence 长度：T，维度：d。语音模型：即将 sound 转为 text。
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1286
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
语音识别 HMM和端到端Seq-to-Seq模型的异同
dhj_tsukuba的博客
03-20 1016
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1 Hidden Markov Model (HMM)1-1 传统HMM1-2 HMM+Deep Learning1-2-1 Tendam1-2-2 DNN-HMM混合模型2 Seq-to-Seq模型 前言 本文主要是李宏毅老师语音识别公开课4的笔记，全部课程可以参考这里 近几年语音领域的顶会发表了很多关于端到端Seq-to-Seq模型的研究，并且根据实验数据，在大规模语音数据集的支持下，他们的WER或者是CER都已经超过了传
13. RNN中序列分类 python代码实现
05-08
总结，RNN在序列分类中的应用涉及理解序列数据的特性、构建适当的模型结构、预处理数据以及训练和评估模型。Python提供了强大的工具，使我们能够轻松实现和实验这些概念。在实际项目中，还需要考虑超参数调整、模型...
ASR-端对端模型04：RNNT-SLP/Stateless【Rnn-T的预测网络中不用RNN层】【预测网络的最大作用似乎是阻止输出重复的建模单元，即可以控制＜blank＞标签的预测概率】
u013250861的博客
05-29 60
当文本-语音平行语料规模较大时，RNN-Transducer（RNNT）显著优于传统语音识别模型。但是对于低资源语言，RNNT经常会过拟合，并且不像传统ASR系统，无法利用额外的大规模文本语料。RNNT中的预测网络（prediction network）一般被认为类似于传统ASR模型的语言模型（Language Model，LM），但通过实验发现，使用文本语料预训练预测网络并不能带来提升。
语音识别(ASR)论文优选：Tied & Reduced RNN-T Decoder
低调奋进
09-18 657
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进 Tied & Reduced RNN-T Decoder 本文为google在2021.09.15发表的文章，主要的工作为优化rnn-t的decoder模型大小，使其在性能不下降的情况下，速度提高3到4倍。具体的文章链接 https://arxiv.org/pdf/210
RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记
久蔡合子
12-26 2163
RNN-A RNN-T
RNN-T
qq_50749521的博客
08-08 2480
RNN transducer
分享本周所学——人工智能语音识别模型CTC、RNN-T、LAS详解
weixin_48978134的博客
06-26 9760
本人是一名人工智能初学者，最近一周学了一下AI语音识别的原理和三种比较早期的语音识别的人工智能模型，就想把自己学到的这些东西都分享给大家，一方面想用浅显易懂的语言让大家对这几个模型有所了解，另一方面也想让大家能够避免我所遇到的一些问题。然后因为我也只是一名小白，所以有错误的地方还希望大佬们多多指正。目录一、咋识别啊？二、CTC是啥玩意啊？1. 网络结构2. CTC Loss三、RNN-T又是个啥东西啊？1. 网络结构2. 坎坷的调试过程三、LAS又是怎么回事1. 网络结构 2. 没有那么坎坷的调试过程
Nat. Commun | 结合二维深度神经网络和迁移学习 预测RNA二级结构
DrugAI
12-18 2150
作者 | 吴隆鑫单位 | 厦门大学方向 | 生物序列分析研究背景RNA分子是生物体内参与各种如细胞分化、代谢、记忆存储等重要生命活动的一类大分子，其常见的种类有rRNA、mRNA、tRN...
RNN
weixin_42717395的博客
04-03 2878
先放四张RNN的示意图 上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。 　　　　这幅图描述了在序列索引号t 附近RNN的模型。其中： 　　　　1）x(t)代表在序列索引号t 时训练样本的输入。同样的，x(t-1)和 x(t+1)代表在序列索引号t−1和t+1时训练样本的输入。 　　　　2）h(t)代表在序...
RWKE-RNN-T语音识别声学模型
05-20
RWKE-RNN-T是一种声学模型，它是基于神经网络的语音识别系统。该模型使用了一种叫做"Recurrent Weighted Kernel Estimator"的方法来建模时间序列信号，并且将其与传统的RNN结构相结合，从而提高了识别性能。RWKE-RNN-T模型的优点在于可以自适应地学习语音信号的长期依赖关系，同时还能够通过引入卷积结构来减少参数数量，从而加快训练和推理速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值