李宏毅《DLHLP》学习笔记3 - Beam Search

已于 2022-12-03 12:19:04 修改
阅读量446 收藏 2
点赞数
分类专栏： 语音处理笔记 文章标签： 学习 人工智能
于 2020-03-13 11:46:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dupei/article/details/104837244
版权

最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html

Youtube视频：
https://youtu.be/AIKu43goh-8
https://youtu.be/BdUeBa6NbXA
https://youtu.be/CGuLuBaLIeI
课件：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/ASR%20%28v12%29.pdf

Beam Search只是课件中的一小部分，之所以单独提出来，是因为前几天才看过，又看李宏毅老师的视频，觉得讲的通俗易懂，值得推荐。

在这里插入图片描述
上图中，红色路径称为Greedy Decoding，本质是寻找当前最大概率的路径，也就是局部最优解，而不是最优解。其中，绿色路径是全局最优解。

为了解决这个问题，每次搜索时，保留B个最优分支，如下图，B=2时，就可以得到全局最优解。
在这里插入图片描述
Beam Seach的beam size是可以调整的参数，参数的调整会影响到最优解的结果。

dupei
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅机器学习笔记.pdf
08-11
李宏毅机器学习·笔记自己整理成了PDF，现在分享给大家。
十分钟读懂Beam Search(1/2)
hecongqing的博客
03-22 3389
最近研究了一下用基于BERT的encoder-decoder结构做文本生成任务，碰巧管老师昨天的文章也介绍了以生成任务见长的GPT模型，于是决定用两篇文...
李宏毅《Deep Learning》学习笔记 - RNN
好记性不如烂笔头
03-30 259
视频：https://www.youtube.com/watch?v=xCGidAeyS4M 课件：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf 不是有3个Network，而是，同一个Network在不同的时间被使用了3次，这里，同样的weight使用相同的颜色表示。 传说Jo...
java实现语音识别
q6q6q的专栏
10-27 1万+
广告关闭2017年12月，云+社区对外发布，从最开始的技术博客到现在拥有多个社区产品。未来，我们一起乘风破浪，创造无限可能。说到语音识别、语音翻译、图像识别、人脸识别等等，现在已经非常非常非常普及了，看过‘最强大脑’的朋友，也应该对‘小度’这个机器人有所了解，战胜国际顶尖的‘大脑’- 水哥，(ps：内幕不知)，那么今天，我们来看下关于语音识别，是如何做到的，java又是如何识别语音的？ 如何转换语...
李宏毅《深度学习语言处理》学习笔记
HcHJQ的博客
10-22 518
大四保研????，加入实验室提前学习基础知识，持续更新中 L1 1s可以有16,000个采样点，每个采样点有256个可能值 语音辨识 (Automatic Speech Recognition - ASR) 语音合成 Speech Separatioon (鸡尾酒会效应) / Voice Conversion 语者辨认 / 关键词(唤醒词)辨认 文字产生 (Autoregressive / Non-autoregressive) Translation / Summarization / Chat-bo
李宏毅HLP笔记(一): End-to-End ASR Model (LAS)
m0_55016188的博客
03-26 3666
LAS: Listen, Attend and Spell [Chorowski et al., NIPS'15] 基于Attention机制的end-to-end语音识别模型 模型介绍 Listen (Encoder): 模型第一部分叫做Listener, 其input为常见的声学特征序列(mfcc/filterbank), output为经过提取后的高阶声学特征序列h = (h1,h2,h3,...)。 具体可以用各种RNN模型来实现。比如Pyramid RNN每几个timestep的...
李宏毅HLP笔记(二): End-to-End ASR Model (CTC,RNN-T)
m0_55016188的博客
03-26 4003
CTC: Connectionist Temporal Classification [Graves et al., ICML'06] 首先为了实现online的效果，CTC的encoder RNN 是单向的。 CTC的特点是它的token space引入了一个新的值(null)。原因是每一帧的声学特征往往所占的时间非常短，甚至远小于一个phoneme的长度，因此根据它输出的东西往往不能代表什么。就是用来代表那些无法单独识别的feature。 具体地，和一般的seq2seq模型一样，enc...
Beam search 以及在语音识别（pure E2E）中的使用
panxin801的博客
03-03 850
Beam search 以及在语音识别（pure E2E）中的使用 Author: Xin Pan Date: 2021.2.22 语音识别（ASR）中解码时一个很重要的过程。在其中不论是传统语音识别或是E2E的新结构虽然LM也许不存在了，但是解码过程和其中的解码方法是必不可少的。 首先简单说下beam search,之后说下ASR E2E+without LM这种方式中beam search如何使用的。 Beam Search Beam search是介于穷举搜索和贪心搜索之间的一种搜索算法。 穷举搜索
beam search（束搜索）与 vliterbi（维特比算法）；语音识别算法vad、asr、tts
weixin_42357472的博客
03-30 3946
vliterbi（维特比算法） 动态规划 维特比使用场景：前后状态结果间无关系，相互独立。因而使用在HMM，CRF这样的输出场景中。是全局最优解。 beam search（束搜索） 参考：https://zhuanlan.zhihu.com/p/82829880 贪心算法 beam Search：结果之间有依赖关系。例如：翻译模型、transformer，因为输出依赖与上一个结果的输入。是局部最优解 语言识别算法 参考：https://www.zhihu.com/question/35833334/answ
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1236
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
SpeechRecognition:语音重演程序（JAVA）
05-09
语音识别 语音重演程序 语音检测程序。 详细信息可在Prog2.pdf中找到。
李宏毅学习笔记的PDF版
04-22
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器...
李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5
01-10
该文档是台大《深度学习》课程，李宏毅老师的资料，更新版本的资料可去GitHub下载，地址：https://github.com/datawhalechina/leedl-tutorial
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
李宏毅机器学习HW1-PM2.5预测.zip
最新发布
04-23
李宏毅机器学习HW1-PM2.5预测
李宏毅2020机器学习深度学习：Conditional Generation by RNN&Attention
梆子井欢喜坨的博客
03-26 547
目录
李宏毅学习记录1——基础知识
youzinan007的博客
11-04 195
1：零填充就是对输入量在边界上用零进行填充。可以控制输出数据体的空间尺寸（最常用的是用来保持输入数据体在空间上的尺寸，这样输入和输出的宽高都相等）。 2：各种池化的区别：https://blog.csdn.net/JIEJINQUANIL/article/details/50042791  mean-pooling，即对邻域内特征点只求平均 max-pooling，即对邻域内特征点取最大  ...
BeamSearch的理解
热门推荐
新手上路，刹不住车
03-07 1万+
BeamSearch的理解 转自知乎问题“谁能解释下seq2seq中的beam search算法过程?”高分回答 https://www.zhihu.com/question/54356960
李宏毅cnn学习笔记
09-10
在他的学习笔记中，李宏毅介绍了CNN的基本概念、架构和工作原理。他详细讲解了卷积层、池化层和全连接层等组成部分，以及它们在图像处理中的应用。此外，他还涉及了一些CNN的变体，如残差网络（ResNet）和卷积神经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值