ASR-端对端模型02：RNN-T（RNN-Transducer）【Sequence Transduction with Recurrent Neural Networks】

最新推荐文章于 2024-06-08 09:56:05 发布
最新推荐文章于 2024-06-08 09:56:05 发布
阅读量122 收藏
点赞数
分类专栏： # Audio/ASR 文章标签： rnn 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/139219334
版权
RNN-T模型因其内存需求较高，尤其是在训练时的NTUC乘积可能导致内存溢出。为了缓解这一问题，可以采取减小batch size、缩小vocabulary size或减少模型参数量等策略。然而，这些措施可能延长训练时间、影响模型性能或导致out-of-vocabulary问题。Pruned RNN-T作为优化方案，旨在实现更快更好的训练效果。
摘要由CSDN通过智能技术生成

RNN-T 模型最后一层的输出是一个 4-D 的 tensor，维度是 (N, T, U, C), 其中

  • N: batch size。数值大小: 一般是几十
  • T: encoder 的输出语音特征帧数。数值大小：一般是好几百
  • U: decoder 的输出文本token数。数值大小：几十至上百
  • C: vocabulary size。数值大小：几百至上千

所以，RNN-T 训练时，所需的内存正比于 N, T , U, C 这 4 个数的乘积 NTUC。训练 CTC 或者 attention-based 模型时，所需的内存一般与 NTC 或者 NUC 成正比。

# Copyright    2021  Xiaomi Corp.        (authors: Fangjun Kuang)
#
# See ../../../../LICENSE for clarification regarding multiple authors
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
ASR-端对端模型03：pruned RNN-T【改变RNN-T最后一层的输出维度，从(N, T, U, C)变成了(N, T, S, C)】
u013250861的博客
05-29 53
并且，使用 pruned RNN-T 训练的模型，已经在若干个大数据集上做到了 state-of-the-art （SOTA）的性能。截止目前，在不使用任何外部语言模型的情况下，pruned RNN-T 在 LibriSpeech test-clean 测试集 上的 WER 是 2.00， 在 test-other 上 的 WER 是 4.63。我们希望，pruned RNN-T 的开源，能够助力 RNN-T 在生产环境中的使用，缩短模型训练所需的时间，简化端到端模型的部署，为企业节约成本。
CTC与RNN-T的对比
最新发布
u013250861的博客
06-20 53
RNN-T模型将声学特性和语言特性联合起来建模，消除了CTC模型中输出无关的缺点。然而，这种引人注目的特性是以训练过程中高内存和计算消耗为代价的。具体来说，RNN-T损失函数在一个形状为(N, T, U, V)的4D张量上进行计算，其中N是批量大小，T是声学编码器的输出长度，U是预测网络的输出长度，V是词汇表大小。
RNN-T
qq_50749521的博客
08-08 2467
RNN transducer
RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记
久蔡合子
12-26 2107
RNN-A RNN-T
RNN-T Training，RNN-T模型训练详解——语音信号处理学习（三）（选修三）
m0_56942491的博客
11-29 899
我们看下面这张表。在解码部分，LAS 和 RNN-T 会考虑前面的时序对当前时序的影响。而 CTC 并不会考虑之前的时间步已经生成出来的token。所以 LAS 和 RNN-T 在解码部分是相对比较强的。在对齐部分，CTC 和 RNN-T 都是需要考虑对齐的。而因为中间的注意力层，LAS不用显式地考虑对齐，而是采用 soft alignment，使用注意力机制来找出语音和文字之间的关系。在训练部分，LAS 只需要直接训练就行，而 CTC 和 RNN-T 则需要将所有的对齐方式概率相加，比较麻烦。
强大的端到端语音识别框架—RNN-T
bbbeoy的专栏
08-31 4207
前言： 基于联结时序分类(CTC)的声学模型不再需要对训练的音频序列和文本序列进行强制对齐，实际上已经初步具备了端到端的声学模型建模能力。但是CTC模型进行声学建模存在着两个严重的瓶颈，一是缺乏语言模型建模能力，不能整合语言模型进行联合优化，二是不能建模模型输出之间的依赖关系。RNN-Transducer针对CTC的不足，进行了改进，使得模型具有了端到端联合优化、具有语言建模能力、便于实现Online语音识别等突出的优点, 更加适合语音任务。 RNN-T介绍： RNN-Transducer模型实际上是
Neural-Networks-for-time-series-analysis:重点比较ANN，RNN，LSTM和LSTM在时序分析中的表现
04-28
在这个项目中，我建立并比较了四种类型的ANN模型：具有Attention的完全连接的ANN，RNN，LSTM，LSTM。 有两个包含时间序列的数据集。 目的是建立深度神经网络，该网络可以学习数据中的时间模式并预测未来观察的价值。...
Sequence Transduction with Recurrent Neural Networks
10-03
深度学习中，最初始的利用Recurrent Neural Networks 技术做语音识别的论文
Predicting-Myers-Briggs-Type-Indicator-with-Recurrent-Neural-Networks
05-25
我们对该项目的重点是使用机器学习来构建分类器，该分类器能够根据社交媒体帖子中的文本样本将人们分类为Myers-Briggs类型索引（MBTI）个性类型。 建立这样一个分类器的动机是双重的。 首先，社交媒体的普遍性意味着...
wtte-rnn：WTTE-RNN：流失和事件预测时间的框架
02-06
WTTE-RNN是一种算法和关于如何实现的哲学。快速直观的介绍Jupyter笔记本：，Gianmario Spacagna的“故障时间”。 韩文安装Python查看。 如果这看起来，则可以将其作为内嵌式内联找到思想和基础您具有包含许多时间...
cnn +rnn +attention 以及CTC-loss融合的文字识别代码，要的拿去不客气，样本使用自我合成的数据，可自己添加
04-23
cnn +rnn +attention 以及CTC-loss融合的文字识别代码，基于tensorflow实现，要的拿去不客气，样本使用自我合成的数据，可自己添加，有些人傻的，上来就说不能直接运行，大爷的说了要添加训练样本，傻吗。。。
RNN-Time-series-Anomaly-Detection:在Pytorch中实现的基于RNN的时间序列异常检测器模型
04-12
RNN时间序列异常检测在Pytorch中实现的基于RNN的时间序列异常检测器模型。 这是基于RNN的时间序列异常检测器的一种实现，它由时间序列预测和异常分数计算的两阶段策略组成。要求Ubuntu 16.04+（在Windows 10上报告了...
分享本周所学——人工智能语音识别模型CTC、RNN-T、LAS详解
weixin_48978134的博客
06-26 9481
本人是一名人工智能初学者，最近一周学了一下AI语音识别的原理和三种比较早期的语音识别的人工智能模型，就想把自己学到的这些东西都分享给大家，一方面想用浅显易懂的语言让大家对这几个模型有所了解，另一方面也想让大家能够避免我所遇到的一些问题。然后因为我也只是一名小白，所以有错误的地方还希望大佬们多多指正。目录一、咋识别啊？二、CTC是啥玩意啊？1. 网络结构2. CTC Loss三、RNN-T又是个啥东西啊？1. 网络结构2. 坎坷的调试过程三、LAS又是怎么回事1. 网络结构 2. 没有那么坎坷的调试过程
Speech recognition模型：RNN Transducer(RNN-T)
u014765410的博客
10-17 1081
2，在output（token）上方，加了一个RNN，其input为token，当token为null时，则自动将其忽略。1，原始的训练数据为（语音，文本）对，但是，实际的模型训练时，需要的训练数据为paired train data，即（acoustic feature，token)，所以，需要对训练数据进行alignment。1，RNA中，将CTC的classifier改为了一个LSTM，使得模型在分类时，不单考虑了当下time step的h，同时也考虑了前一个time step的token。
RNA,RNN-T模型总结
折腾
05-07 4437
RNA与RNN-T笔记 首先，先来看什么是RNA呢？ 其实我们可以发现RNA与CTC其实很相像，但是在输出部分其实进行了一系列优化，我们可以看到，在RNA中的前一个token其实对后一个是有影响的。将相当于RNA中有一种dependency关系。接下来我们看一看RNN-T（对RNA进行一系列优化） 我们可以看到最大的不太就是RNN-T的每一个h其实不止可以控制一个token，而且可以控制多个直...
循环神经网络（RNN）简单介绍—包括TF和PyTorch源码，并给出详细注释
百年孤独百年的博客
04-22 1497
循环神经网络是一种神经网络结构，其神经元之间的连接具有时间序列的特性。它可以处理具有时间序列结构的数据，如文本、音频、视频等。在本教程中，我们将介绍循环神经网络的基本原理和应用，以及如何使用keras框架和pytorch框架实现一个简单的循环神经网络模型。
探索高效语音识别：RNN-Transducer 深度学习模型实践
gitblog_00004的博客
06-08 373
探索高效语音识别：RNN-Transducer 深度学习模型实践 项目地址:https://gitcode.com/theblackcat102/edgedict 本文将向您介绍一款出色的开源项目——RNN-Transducer，这是一个基于PyTorch实现的深度学习模型，专门用于实时语音识别任务。该项目充分利用了循环神经网络（RNN）和序列到序列架构的优势，旨在提高语音转文本的准确性和效率。 ...
推荐文章：RNN-Transducer —— 您的端到端语音识别解决方案
gitblog_00050的博客
06-07 550
推荐文章：RNN-Transducer —— 您的端到端语音识别解决方案 项目地址:https://gitcode.com/ZhengkunTian/rnn-transducer 在深度学习和自然语言处理领域，语音识别技术一直是研究的热点。今天，我们要向您隆重推荐一个基于PyTorch实现的高效开源项目——RNN-Transducer。这一项目专为端到端的语音识别设计，简化了传统语音处理流程，让开...
LSTM-BP组合模型：短时交通流预测与智能管控
"基于LSTM-BP组合模型的短时交通流预测" 本文主要探讨的是如何利用先进的机器学习技术，尤其是长短时记忆神经网络（LSTM）和反向传播（BP）神经网络的组合模型，来解决交通拥堵问题并提升智能交通系统的效能。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值