【学习笔记】：Multi-mode Transformer Transducer with Stochastic Future Context

最新推荐文章于 2022-01-12 15:29:55 发布
最新推荐文章于 2022-01-12 15:29:55 发布
阅读量1.5k 收藏
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muzi_0815/article/details/121344316
版权

原文链接

文章基本信息：题目，作者，作者机构，发表刊物或会议，年份，期刊会议等级（CCF）

题目，Multi-mode Transformer Transducer with Stochastic Future Context

作者，Kwangyoun Kim1, Felix Wu1, Prashant Sridhar1, Kyu J. Han1, Shinji Watanabe2

作者机构，1ASAPP , USA 2Carnegie Mellon University, USA

发表刊物或会议，INTERSPEECH

年份，2021

期刊会议等级（CCF）：C类

本文背景及提出的问题

背景：

  1. ASR
  2. Sequence Transducers
  3. Dual-mode ASR
  4. Transformer Transducer

提出问题：

        自动语音识别(ASR)模型在较多的周围语音信息作为上下文呈现时，出错率会更低。但较多的未来上下文将导致更高的延迟。

        为了适应不同的延迟需求，人们必须存储多个模型，并在约束

最低0.47元/天 解锁文章
慕子yi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ASR入门笔记
weixin_42264992的博客
06-17 970
ASR入门笔记
走进语音识别中的WFST（一）
l_b_yuan的博客
03-13 3万+
本人最近在研究语音识别的生成Graph和Lattice的模块，其中用到了WFST这个概念，惊叹于它的神奇也被它的复杂搞得晕头转向。于是决定静下心来仔细研读了Mohri大牛的Speech Recognition with Weighted Finite-state Transducer这篇论文和一些相关资料，算是入门了其中的算法，有些体悟在这里和大家一起探讨，也算是对自己近期学习的一个总结。本系列会先
【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition
The Dawn
11-17 614
原文链接：【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition - 知乎（封面来自Gent灯光节的Museum of the Moon，灯光节简介 Lichtfestival | Home）背景为了提高端到端的语音识别模型对于不常见单词识别的准确率，此文提出了一种上下文语境感知网络，可基于上下文信息提高语音识别…https://zhuanlan.zhihu.com/p/432320463 背景 为了提高端到端的语音识别模型对
ALBERT:A LITE BERT FOR SELF-SUPERVISED LEAARNINGOF LANGUAGE REPRESENTATIONS
小姑仔的博客
06-04 422
ABSTRACT Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. 预训练自然语言表示的时候，增加模型的大小经常导致下游任务的表现提升。 However,at some point further model increases become harder due to GPU/TPU memory
语音中的 Transformer一文打尽！
BAAIBeijing的博客
01-29 1万+
写在前面——自 2017 年 Transformer 技术出现以来，便在 NLP、CV、语音、生物、化学等领域引起了诸多进展。知源月旦团队期望通过“Transformer+X” 梳理清 ...
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object
08-02
随着深度学习技术的发展，Transformer模型在各个领域的应用越来越广泛，但在MOT中，如何有效地利用长期时间信息仍然是一个挑战。现有的大多数方法局限于相邻帧之间的目标特征利用，缺乏对长时间序列信息的建模能力。...
Mamba: Linear-Time Modeling With Selective State Space.pdf
12-29
在当前的深度学习领域，尤其是人工智能的前沿，Transformer架构已经成为主导，广泛应用于各种激动人心的应用中。然而，Transformer在处理长序列数据时的计算效率问题日益突出，这引发了研究人员对替代架构的探索。...
Swin-Transformer 图像分类网络实战项目：MIT-BIH心电图像分类数据集迁移学习项目
最新发布
03-05
基于Swin-Transformer网络对MIT-BIH心电图像分类数据集迁移学习项目，包含代码、数据集和训练好的权重文件，可直接运行。 这里不是数据的全部，原数据转换后的图像有9W张，这里只使用了一小部分子集来训练 项目总...
Recurrent DETR: Transformer-Based Object Detection for Crowded S
11-25
这篇名为“Recurrent DETR: Transformer-Based Object Detection for Crowded Scenes”的研究论文正是针对这一挑战进行的探索。作者们提出了一种名为Recurrent DETR的新方法，该方法通过迭代解码器块来生成更多的...
T5: Text-To-Text Transfer Transformer-python
06-18
T5: Text-To-Text Transfer TransformerT5：Text-To-Text Transfer Transformer T5 主要用作代码，用于重现 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中的实验。...
Neural Transducer, MoCha模型总结
折腾
05-07 1423
Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...
【Learning Notes】Sequence Transducer
丁丁的博客
07-28 6264
CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp...
简话A S R （持续更新）
一碗白开水一
09-26 1152
概要 语音预处理 不管是进行什么参数分析以及采用什么分析方法，都需要一些预先的处理，如语音信号的数字化、语音信号的端点检测、预加重、加窗和分帧等，这些也是不可忽视的语音信号分析的关键技术。贯穿于语音分析全过程的是“短时分析技术”。 语音识别中的端点检测（VAD） 语音活动端点检测（VAD）已经是一个古老的话题，用于分离信号中语音信号和非语音信号，首先我们讲述VAD的三种做法：1，通过分帧，判断一帧...
端到端语音识别技术预研与实践
小米云技术
11-25 2187
>>>>1 端到端语音识别技术简介1.1 什么是端到端语音识别最近几年，端到端语音识别技术是语音识别领域最热门的研究热点。大量的研究人员投入精力研究端到端语音识别技...
【Kaldi例子】Librispeech数据整理
qq_39573785的博客
01-12 7676
数据分集 数据采集自有声书网站，首先对每个句子做一遍语音识别，识别模型使用WSJ示例中的声学模型，语言模型使用二元文法，语言模型数据为语音数据对应的电子书文本。根据识别结果，统计每个说话人的WER，从低到高排序，前一半标记为clean，表示这些说话人语音比较清晰，其余标记为other。 从clean数据中，随机抽取20名男性和20名女性作为开发集（dev-clean），剩余说话人抽取相同规模的测试集（test-clean），其余作为训练集。训练集随机分为100小时和360小时的子集（train-clean-
Multi-modal Transformer for Video Retrieval
a404NotFound的博客
12-07 1686
简介 使用多模态transformer融合了来自视频的 多种模态（视觉、声音、语音）特征、专家序号、时间编码，得到各个模态的video表征，再计算由BERT、Gated embedding modules输出的Caption words的表征，最后计算caption和video表征的相似度 论文的任务/贡献 1.提出用于检索的视频编码器体系结构：多模态transformer处理在不同时间提取的多模态特征 2.研究了不同的语言embedding体系结构，BERT最好。 3.效果好。 所提方法 通过学习一个函数
语音识别会议级别
yang_daxia的博客
11-07 1万+
人工智能的会议没有专注于语音领域的,语音算是ai的一个实际应用方向吧,所以也能投ai的会议和期刊    列一下自然语言处理(NLP)这个小方向的：  会议(C):  EMNLP (Empirical Methods in Natural Language Processing)              A EACL (Annual Conference of the European...
计算机会议排名等级
热门推荐
CSDN
10-27 35万+
CORE Computer Science Conference Rankings Acronym Standard Name Rank AAAI National Conference of the American Association for Artificial Intelligence A+ AAMAS International
【论文】Multimodal Transformer
Aries_young的博客
10-02 1905
【论文】Yu, Jun, Jing Li, Zhou Yu, and Qingming Huang. Multimodal transformer with multi-view visual representation for image captioning. （pdf） Why is MT model 以往流行的方式都是使用 encoder-decoder 结构，在 encoder使用 CNN 提取局部视觉特征，decoder 使用 RNN 根据视觉特征生成 caption，这些方式有如下的一.
mect: multi-metadata embedding based cross-transformer for chinese named entity recognition
04-12
Q：「b'mect: multi-metadata embedding based cross-transformer for chinese named entity recognition'」是什么？ A：「b'mect: multi-metadata embedding based cross-transformer for chinese named entity ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值