李宏毅HLP笔记(一): End-to-End ASR Model (LAS)

已于 2022-03-26 01:23:07 修改
阅读量3.6k 收藏 1
点赞数 1
分类专栏： End-to-End ASR 文章标签： 语音识别 深度学习
于 2022-03-26 01:05:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55016188/article/details/123747121
版权
LAS: Listen, Attend and Spell [Chorowski et al., NIPS'15]基于Attention机制的end-to-end语音识别模型模型介绍Listen (Encoder):模型第一部分叫做Listener, 其input为常见的声学特征序列(mfcc/filterbank), output为经过提取后的高阶声学特征序列h = (h1,h2,h3,...)。具体可以用各种RNN模型来实现。比如Pyramid RNN每几个timestep的...
摘要由CSDN通过智能技术生成

LAS: Listen, Attend and Spell [Chorowski et al., NIPS'15]

基于Attention机制的end-to-end语音识别模型

模型介绍

  • Listen (Encoder): 

模型第一部分叫做Listener, 其input为常见的声学特征序列(mfcc/filterbank), output为经过提取后的高阶声学特征序列h = (h1,h2,h3,...)。

具体可以用各种RNN模型来实现。比如Pyramid RNN每几个timestep的input特征合并输出一个高阶特征；Pooling Over Time 的方法每过几个timestep输出一个特征；Time-delay的DNN在多个input feature里选择相关的输出高阶特征; 这些都起到了类似特征降维的效果(down sampling)。更先进的有用self-attention layer代替rnn layer的模型,truncated self-attention模型就是对input feature有选择地做self-attention. (self-attention可参照:https://www.youtube.com/watch?v=ugWDIIOHtPA)

最低0.47元/天 解锁文章
Trracy
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
End-to-end-ASR
03-20
端到端自动语音识别系统-PyTorch实现 这是和我的端到端ASR的开源项目（以前名为Listen，Attend和Spell-PyTorch实现）。实施大部分是通过著名的深度学习工具包Pytorch完成的。 端到端的ASR基于“聆听”，“参加”和“法术 。还实现了最近提出的多种技术，这些技术可作为其他插件以获得更好的性能。有关实施的技术的列表，请参考，和。 随时使用/修改它们，任何错误报告或改进建议将不胜感激。如果您发现此项目对您的研究有所帮助，请务必考虑引用，谢谢！ 强调 特征提取 使用torchaudio作为后端的动态特征提取 字符/子词 /文本的词编码 培训端到端ASR 具有不同类型的编码器/注意Seq2seq ASR 基于CTC的ASR ，也可以与前者混合使用 yaml样式的模型构建和超参数设置 使用培训过程可视化，包括注意对齐 具有端到端ASR的语音识别（即解码） 波束搜索解
李宏毅HLP笔记(二): End-to-End ASR Model (CTC,RNN-T)
m0_55016188的博客
03-26 4055
CTC: Connectionist Temporal Classification [Graves et al., ICML'06] 首先为了实现online的效果，CTC的encoder RNN 是单向的。 CTC的特点是它的token space引入了一个新的值(null)。原因是每一帧的声学特征往往所占的时间非常短，甚至远小于一个phoneme的长度，因此根据它输出的东西往往不能代表什么。就是用来代表那些无法单独识别的feature。 具体地，和一般的seq2seq模型一样，enc...
深度学习中端到端（end-to-end）简要理解
热门推荐
ElysiumAILab
10-30 1万+
端到端 end-to-end
深度学习：端到端模型（end to end learning）
Hanze的博客
11-14 3056
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
什么是end-to-end的模型
ilove_Moretz的博客
06-10 2442
端到端的模型目前很流行，那么什么是端到端的模型呢，有没有一个很比较明确的解释？在[1]中，作者是这样说的。 The entire model is trained jointly, from scratch, by optimizing the probability of the output sequence using a chain rule decomposition. We call this an end-to-end model because all the components of
李宏毅学习笔记的PDF版
04-22
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器...
李宏毅机器学习笔记（LeeML-Notes）.epub
09-14
李宏毅机器学习笔记（LeeML-Notes）.epub
covid-19-cases：COVID-19病例和死亡的简单可视化
02-16
COVID-19病例和死亡rstats-tartu 最后更新：2021-02-15 21:15:48内容介绍少量图表说明了COVID-19流行病的日常发展。 如果您想重新创建这些图，将有目的地显示代码。 上提供了SARS-CoV-2 （引起COVID-19的病毒）的...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
ML2017-笔记：李宏毅机器学习2017个人笔记
02-03
《李宏毅机器学习2017个人笔记》是一份详尽记录了2017年李宏毅教授机器学习课程精髓的笔记资料。这份笔记以其深入浅出的讲解方式和丰富的实例，成为了学习者探索机器学习领域的宝贵资源。笔记采用LaTeX排版，结构...
端到端模型（end-to-end）与非端到端模型
最新发布
云隐雾匿的博客
02-10 6845
端到端模型（end-to-end）与非端到端模型，pipeline，序列到序列
端到端的神经网络(end-to-end)
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
11-05 620
换句话说就是，**对原始数据进行初步的处理，输入的不是直接的原始数据，而是在原始数据中人工参与提取的一些关键特征。通过这种方式神经网络可以很好地学习到特征的描述，之前需要人工设计的特征算子，本身也可以通过神经网络的方式，让模型自己学习得到。端到端它缩减了人工预处理和后续的处理工作，尽可能使模型从原始输入到最终的输出，给模型更多可以根据数据自动调节的空间，增加了模型的整体契合度。随着深度学习神经网络的发展，可以让网络自己学习如何提取更好的特征，也就是通过一些配置能让网络去做以前需要人工参与的特征提取的工作。
语音识别（ASR)论文优选：Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models
低调奋进
07-22 656
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进 Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models 本文为Johns Hopkins University在2021.07.20更新的文章，主要做使用blockwise和mask-ctc来优化.
语音论文阅读(端到端ASR:从监督学习到具有现代体系结构的半监督学习)
暮木的博客
01-04 854
论文： END-TO-END ASR: FROM SUPERVISED TO SEMI-SUPERVISED LEARNING WITH MODERN ARCHITECTURES 摘要 利用伪标签(pseudo-labeling）ResNet,ConvNets,Transformers,使用CTC或者Seq2Seq损失函数，但半监督可改善整个体系结构和损耗函数中的所有模型，并弥合它们之间的许多性能差距。研究不同数量的未标记音频的效果，提出了几种评估未标记音频特性的方法，这些方法可以...
语音识别(ASR)系列之二：混合模型
AI_wx_3307623172的博客
08-13 1428
上篇系列之一从总体上讲了ASR的原理、评估方法、模型发展，这一篇开始介绍称霸ASR三十年的混合模型(Hybrid Model)，特别是GMM/HMM模型。由于GMM和HMM模型本身已经是很大的一块内容，我假设读者已经了解其基本原理。 基本概念 在讲具体模型之前，先介绍一些需要了解的基本概念。对语音进行处理，一般会先进行分帧和特征提取，例如MFCC、FBank，然后把这些特征转化为发音最基本单位的序列，一般是音素序列，音素转换为字后就变为了文字序列。音素是比字更小一级的单位，在汉语中简单理解音素就是声母和韵
CS224n笔记12 语音识别的end-to-end模型
weixin_30933531的博客
10-20 295
本文转自：http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html 　　这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别，他正在英伟达工作，怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubuntu，一改以往“讲台必定信仰灯”的局面。 Automatic Speech Recogniti...
李宏毅学习记录1——基础知识
youzinan007的博客
11-04 204
1：零填充就是对输入量在边界上用零进行填充。可以控制输出数据体的空间尺寸（最常用的是用来保持输入数据体在空间上的尺寸，这样输入和输出的宽高都相等）。 2：各种池化的区别：https://blog.csdn.net/JIEJINQUANIL/article/details/50042791  mean-pooling，即对邻域内特征点只求平均 max-pooling，即对邻域内特征点取最大  ...
语音识别中的End2End模型: CTC, RNN-T与LAS
bbbeoy的专栏
08-31 1917
自动语音识别(Automatic Speech Recognition，简称ASR)是一项将机器学习与实际需要紧密结合的领域，应用场景如语音助手，聊天机器人，客服等等。今天就来比较一下比较流行的几种End-to-End的ASR模型。 经典语音识别系统 在了解End-to-End模型之前，我们先来看看经典的语音识别系统是怎样工作的以及为什么需要End-to-End模型。 经典语音识别系统通常有如下几个组成部分：特征提取，如利用输入的waveform提取MFCC特征，然后再经过三个独立的模型再求得它们概率
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值