李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA

已于 2022-12-03 12:19:26 修改
阅读量1.2k 收藏 8
点赞数
分类专栏： 语音处理笔记 文章标签： 学习 人工智能 深度学习
于 2020-03-13 16:59:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dupei/article/details/104843917
版权

最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html

Youtube视频：
https://youtu.be/AIKu43goh-8
https://youtu.be/BdUeBa6NbXA
https://youtu.be/CGuLuBaLIeI
课件：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/ASR%20%28v12%29.pdf

在这里插入图片描述

1. CTC

CTC的全称是Connectionist Temporal Classification
在这里插入图片描述

1.1 CTC的推理过程

为了做到Online speech recognition，encoder只能使用uni-directional RNN，不能使用bi-directional RNN.

然后，将 h n h^n hn直接输入到线性classifier中，生成对应token distribution。左侧为classifier的设计。
其中， ϕ \phi ϕ代表不可识别的符号。
在这里插入图片描述
CTC将输出的token做处理，参考下面的图。之前看过比较好的介绍，也可以参考&#

最低0.47元/天 解锁文章
dupei
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅《DLHLP》学习笔记1 - 语音识别概念
好记性不如烂笔头
03-13 2899
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
【论文笔记】Improving Transformer-based End-to-End Speech Recognition with CTC and LM Integration
Blogs of TrainerNN
10-22 630
题目： Improving Transformer-based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration 链接： http://www.isca-speech.org/archive/Interspeech_2019/abstracts/1938.html 标签： Speech Recognition, Transformer, CTC, LM
ctc_beam_search_lm:CTC+Beam_Search+kenlm 是用于以汉字为声学模型建模单元的解码系统
05-10
此为百度第二代语音识别解码方案C++版本 CTC+BeamSearch+LM １ ctc_beam_search_decoder.cpp中相关的解码参数 num_frames:为wav的帧数 num_classes:为分类的数目，比如建模单元为多少个汉字 beam_size:beam的大小 blank_id:ctc训练时,blank的id cutoff_prob:为概率剪枝参数 alpha:为语言模型权重系数 beta:为句子长度系数 输入:经声学模型后的softmax概率prob.txt,以及相应的字表vocab.txt 输出:解码结果 ２ 编译ctc_beam_search_decoder.cpp 1)开始编译: ./compile_decoder.sh ３ 运行解码 ./ctc_beam_search_decoder ４ 解码结果
探索语音识别新里程：CTC模型在`speech_recognition_ctc`中的应用
最新发布
gitblog_00024的博客
04-24 352
探索语音识别新里程：CTC模型在speech_recognition_ctc中的应用 项目地址:https://gitcode.com/EliasCai/speech_recognition_ctc 项目简介 speech_recognition_ctc是一个开源项目，它采用连接isthmus-变换类（Connectionist Temporal Classification, CTC）模型进行实...
Connectionist Temporal Classification（CTC）——李宏毅人类语言处理学习笔记
久蔡合子
12-03 436
CTC介绍及其issue
【笔记】DLHLP - 李宏毅 - 4 - 语音识别 - Part 3 CTC, RNN-T and more
YanqiangWang的专栏
07-08 403
Connectionist Temporal Classification (CTC) CTC可以用于线上实时地语音识别，编码器用的是单向的RNN，解码是用MLP来预测文字分布。 编码器将语音输入\(x^i\)编码成\(h^i\)，MLP再对它乘上一个权重，接上Softmax，得到词表V大小的概率分布。 但有时候当前的语音输入可能并不能对应实际的文本token，所以预测要额外多一个为空的...
李宏毅nlp学习笔记02：speech recognition
weixin_42721412的博客
11-07 486
1.基本模型图： 输入的声音信号是一串的向量。 输出的文本是长度为N，一共有V种不同的tokens。 2.Token： 语音识别方面喜欢使用的token： 3.Acoustic Feature：语音特点。 可以将每25ms的声音转化为一个向量，最近使用的是通过filter bank output将其转化为一个维度为80的向量。 生成下一个向量的时候，不是直接向后移动25，而是小于25的10，因此生成的向量是包含重复内容的。 语音转化为向量的过程： 使用率： 4.数据集： 5.模型：
李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5
01-10
《李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5》是台湾大学《深度学习》课程的配套教学资料，由李宏毅老师及其团队编著。这份教程不仅包含理论知识，还注重实践方法，旨在帮助学习者掌握深度学习的基础与应用。教程在...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
:white_medium_star: 李宏毅2020机器学习作业4-RNN：句子情感分类
01-20
文章目录0 作业链接1 作业说明环境任务说明任务要求数据说明作业概述2 基本原理与概念单词的表示句子的表示1-of-N encodingBag of Words (BOW)word embeddingSemi-supervised Learning 半监督学习3 原始代码warning...
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
speech_recognition：中文语音识别
02-06
中文语音识别 1.环境 巨蟒：3.5 Tensorflow：1.5.0 2.训练数据下载 清华大学中文语料库（thchs30） 3.训练 配置conf目录下的conf.ini文件中的设定 在python train.py运行python train.py开始训练 在终端运行python test.py测试 也可以使用PyCharm打开 4.测试效果
李宏毅机器学习HW1-PM2.5预测.zip
04-23
【标题】"李宏毅机器学习HW1-PM2.5预测"是一个关于利用机器学习技术预测空气质量，特别是PM2.5浓度的课程作业。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著影响。这个作业可能涉及收集...
关于CTC模型的理解
热门推荐
gzj_1101的专栏
05-01 1万+
预备知识 摘要 标签错误率 CTC 从输出到标签 构建分类器 参考资料 最近在看手势识别相关论文，在看到一篇论文的时候发现了LSTM+CTC能够解决数据预分割的问题。于是抱着学习的心态这篇论文《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Ne...
Speech Recognition模型：Connectionist Temporal Classification（CTC）
u014765410的博客
10-15 927
上面提到的CTC工作原理，input和output是成对出现的，即 acoustic feature和token是成对出现的，而我们在实际中得到的train data通常为 （语音，译本）,无法细化到（acoustic feature, token)，在实际中，我们可以穷举所有可能的 （acoustic feature, token)对，用于CTC的训练。LAS由encoder和decoder组成，在构建LAS模型时，我们可以将CTC嫁接在LAS的encoder上，从而达到LAS和CTC的结合。
对CTC、RNA、RNN-T的理解
Sohu564的博客
04-04 4401
首先，二者都是解决时序类问题的 CTC(一种损失函数)： 传统对于传统语音识别声学模型的训练，每一帧所对应的标签都必须要确定，只有这样才可以对模型进行训练，所以传统方法在训练模型之前必须对数据进行预处理，也就是做语音对齐。但是为了确保对齐更准确，语音对齐的过程需要进行多次反复的迭代，这是一个非常耗费时间耗费人力的工作。 而CTC的方法是关注一个输入序列到一个输出序列的结果，所以它只会考虑预测输出的序列是否和真实的序列接近或相同，而不会考虑预测输出序列中的各个结果在时间点...
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)
Holeung blog
07-30 2465
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2) PDF VIDEORNNLearning Target cost就是每一个时间点的output与reference的cross entropy的合，就是minimize的对象。 有了这个lost后，training要怎么做呢？ 不幸的是，RNN
Connectionist Temporal Classification (CTC)
Eddy_zheng的博客
02-11 3149
RNN模型可以用来对两个序列之间的关系进行建模。但是，传统的RNN，标注序列和输入的序列是一一对应的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值