DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）

最新推荐文章于 2024-04-16 16:39:46 发布
最新推荐文章于 2024-04-16 16:39:46 发布
阅读量473 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GaLileo_C/article/details/107657153
版权

1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。


2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。


3 总结：

 

苦恼的疯疯
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
neural-transducer:此仓库包含一组神经传感器，例如序列到序列模型，专注于角色级任务
05-08
神经传感器 此仓库包含一组神经转换器，例如序列到序列模型，专注于角色级任务。 它为以下papar和讲习班提供动力。 叶卡捷琳娜·维洛莫娃（Ekaterina Vylomova），珍妮弗·怀特（Jennifer White），伊丽莎白·萨利斯基（Elizabeth Salesky），萨布丽娜·J·米尔克（Sabrina J.Mielke），吴世杰，爱德华多·庞蒂，罗恩·霍尔·莫兹莱，冉·兹米格罗德，约瑟夫·瓦尔沃达，斯维特拉娜·托尔多瓦，弗朗西斯·泰尔斯，埃琳娜·科利奇科，伊利亚·叶戈罗夫，娜塔莉娅·克里斯汉娜诺夫斯基，保拉·克拉扎诺夫斯基，Andrew Krizhanovsky，Tiago Pimentel，Lucas Torroba Hennigen，Christo Kirov，Garrett Nicolai，Adina Williams，Antonios Anastasopoulos
Neural Transducer, MoCha模型总结
折腾
05-07 1434
Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...
Neural Transducer——李宏毅人类语言学习
久蔡合子
12-26 280
Neural Transducer
语音基石模型Speech Foundation Models
Barbara‘s Blog
07-23 1885
语音自监督学习模型。
语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）
m0_56942491的博客
10-24 895
LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。
MoCha——单调块注意力模型
最新发布
南瑾与春风的博客
04-16 97
转载MoCha——单调块注意力模型 - 以观其妙的文章 - 知乎 作者：恒毅，语音识别工作者，来自新东方AI研究院语音识别团队 1.首先，提出一个问题？ 加了soft attention的seq2seq模型，在很多领域取得了广泛的应用，例如机器翻译、词性标注等NLP任务，因为它们都可以看成是序列到序列的问题。但是对于语音问题，这个模型存在很明显的弊端： 时间复杂度很高： 因为对于soft attention的模型来说，decoder的每一个输出要计算encoder的每一个隐含状态的对应权重，所以时间复杂
Speech recognition模型：MoChA（Monotonic Chunkwise Attention)
u014765410的博客
10-17 724
与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。
NLP Resources
chinaliping的专栏
04-10 2846
Contents Tools : Machine Translation , POS Taggers , NP chunking , Sequence models , Parsers , Semantic Parsers/SRL , NER , Coreference , Language models , Concordances , Summarization , Othe
Finite State Transducer（FST）in NLP
码农之道
01-08 3320
在自然语言处理中，经常会遇到一些针对某些内容法则做出修改的操作，比如说：如果c的后面紧接x的话，则把c变为b，FST则是基于这些规则上的mathematical操作，比如说把若干个规则整合成一个single pass或mega rule，这样做呢，就可以很有效的提高rule-based system的效率。 首先，先来大概的了解一下有限状态机（FSM） 有限状态机呢就是一个由一堆状态（当然
LAS、CTC、RNN-T、NT、MoChA
weixin_45259560的博客
12-02 1295
DLHLP学习笔记
联邦学习：MOCHA框架
weixin_51306020的博客
08-12 2600
MOCHA主要是为了解决联邦学习中的系统难题和统计难题而提出的联邦学习框架。 MTL（多任务学习）通过学习每个节点的独立模型，利用任意的凸损失函数为每个节点训练出独立的权重向量。并且考虑节点模型间的相关性来解决联邦环境中的统计难题，并且提升样本容量，但是目前的MTL难以解决系统难题。 在集中环境分布式多任务训练模型CoCoA的基础上进行改进，本文提出联邦多任务学习框架MOCHA，为模型参数W开发有效的分布式优化更新方法。...
SPEECH RECOGNITION WITH WEIGHTED FINITE-STATE TRANSDUCERS （WFST））
11-10
Kaldi讲WFST的官方文档，里面涉及到了群，半群，理解组合算法，和优化算法
WFST-decoder
06-12
描述了语音识别中关于WFST解码的细节，重点介绍了什么是WFST，两个WFST图如何组合在一起，WFST的确定化和最小化的含义，同时也说明了如何在WFST上进行维特比搜素。
语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记
taoqick的专栏
05-04 1065
语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu
一张图总结LAS,CTC,RNA,RNN-T,Neural Transducer, MoCha模型
折腾
05-07 1467
【Learning Notes】Sequence Transducer
丁丁的博客
07-28 6279
CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp...
【深度学习人类语言处理】1 课程介绍、语音辨识1——人类语言处理六种模型、Token、五种Seq2Seq Model(LAS、CTC、RNN-T、Neural Transducer、MoChA)
YoungSeng's Blog
04-06 1568
Deep Learning for Human Ianguage Processing1. DLHLP-Introduction1.1 概述1.2 六种模型与应用1.2.1 语音到文本1.2.2 文本到语音1.2.3 语音到语音1.2.4 语音到Class1.2.5 文本到文本1.2.6 文本到Class1.3 更多应用2. 语音辨识2.1 语音辨识的Token2.2 声学特征提取2.3 Listen, Attend, and Spell (LAS)2.3.1 Encoder2.3.2 Attention2
CTC,RNN-Transducer, LAS
一花一世界 一叶一菩提
04-28 5156
CTC RNN-Transducer 网络结构 LAS
端到端语音识别系统发展及现状 | LAS、RNN-T、NT、MochA
大数据AI笔记
07-22 4174
文章目录1.传统 ASR2.端到端 ASR3.端到端ASR的发展历程3.1 CTC3.2 基于CTC的端到端ASR3.3 CTC的缺点4.基于attentiion的encoder-decoder模型5. Online 模型介绍（RNN-T, NT, MoChA）5.1 模型配置5.2 数据5.3 结果5.4 组合方式5.5 进一步的提升5.5.1 结构上的改进Wordpiece Model多头attention5.5.2 优化方式的改进最小字错率(MWER)预定采样同步异步训练标签平滑5.5.3 外部语言模
谷歌大脑2017技术研究总结 | Jeff Dean执笔（附论文 & 数据集）
数据派THU
01-16 2343
本文经AI新媒体量子位（公众号ID:qbitai）授权转载，转载请联系出处本文长度为8311字，建议阅读10分钟Jeff Dean回顾了谷歌大脑团队过去一年的核心研究，以及在多个AI领域的研究进展。谷歌AI Senior Fellow、谷歌大脑负责人Jeff Dean，按照惯例，今天开始发布2017年度的谷歌大脑年度总结。在这份已经发布的总结中，Jeff Dean回顾了谷歌大脑团队过去一年的核心研
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值