CTC学习笔记（四） 解码-WFST

最新推荐文章于 2025-10-09 20:04:24 发布
原创 最新推荐文章于 2025-10-09 20:04:24 发布 · 1w 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了EESEN提出的TLG网络结构，对比传统hybrid方法，该结构通过减少状态数显著提升了解码速度，同时保持了相当的准确率。TLG支持characters和phonemes两种形式，并详细解释了其在网络中的实现方式。

类似于HCLG的wfst结构，EESEN: END-TO-END SPEECH RECOGNITION USING DEEP RNN MODELS AND WFST-BASED DECODING文章提出了TLG的网络结构

Grammar

这里写图片描述

Lexicon

有两种形式，可以基于characters和phonemes。
这里写图片描述

Token

对应于传统的state，前后添加blank，而且状态存在自旋
这里写图片描述

网络

S = T ∘ m i n ( d e t ( L ∘ G ) ) S=T\circ min(det(L\circ G)) S=T∘min(det(L∘G))

结论

相比于传统的hybrid方法，准确率差不多，解码速度有三倍以上的提升。原因在于，状态数从几千个降到了几十个，减小了网络复杂度。

后面的技术分享转移到微信公众号上面更新了，【欢迎扫码关注交流】

在这里插入图片描述

语音识别 平常笔记
HowieXue 薛永浩的博客
08-05 1546
Voice Recognition 2021年3月21日 语音模型发展：模板匹配（DTW） -> 统计模型（GMM高斯-HMM隐马） -> 深度学习（DNN-HMM，E2E) 音频编码：格式PCM的wav格式 语音采样率8khz 或16khz 6阵列mac 声源定位 有空间指向性，定位后，可有效抑制其他方向的声音干扰（旁边的其他人声音） 开源工具：HTK，Kaldi, Espnet（python） 音速序列：英语48个音素 20元音 28辅音，汉语32个音素，10个元音 离散傅里叶变换（DFT
端到端语音识别（二） ctc
qq_44944990的博客
04-22 1051
端到端语音识别（二） ctc
语音识别系列2--基于WFST解码器
u012361418的博客
05-17 3470
一、总述 解码器是ASR重要的组件之一，在传统的基于GMM-HMM/DNN-HMM混合系统中，解码器架起语言模型、声学模型、发音词典等知识源的桥梁，得到最终的识别结果，如图1所示。 随着深度学习技术的盛行，一系列ASR端到端系统、ASR-NLP端到端系统甚至ASR-NLP-TTS端到端系统被相继提出，解码器的作用在被一步步弱化，但是笔者认为，抛弃解码器，实现完全的端到端系统还有相当长的...
CTCDecoder:连接主义时间分类 (CTC) 解码算法
07-24
CTC解码算法 2021 年更新：可安装的 Python 包 一些常见的连接主义时间分类 (CTC) 解码算法的Python 实现。 提供了一个简约的语言模型。 安装 转到存储库的根级别 执行pip install . 转到tests/并执行pytest以检查安装是否有效 用法 基本用法 这是一个简约的可执行示例： import numpy as np from ctc_decoder import best_path , beam_search mat = np . array ([[ 0.4 , 0 , 0.6 ], [ 0.4 , 0 , 0.6 ]]) labels = 'ab' print ( f'Best path: " { best_path ( mat , labels ) } "' ) print ( f'Beam search: " { beam_search (
CTC损失：序列学习的关键技术
最新发布
qq_34941290的博客
10-09 659
CTC（Connectionist Temporal Classification，连接时序分类）损失是一种专门为序列学习任务设计的损失函数，由Alex Graves等人在2006年提出。它主要解决了以下核心问题：传统方法需要精确的帧级对齐标注，而CTC损失通过巧妙的算法设计，只需要输入序列和对应的输出序列即可进行训练，无需对齐信息。
compareCTCDecoder:比较三种CTC解码器，即贪婪解码器，波束解码器和前缀波束解码器
05-02
compareCTCDecoder 大多数代码均来自中文编写的 。 比较三种CTC解码器，即贪婪解码器，波束解码器和前缀波束解码器。 我给出一个网络输出的示例，该网络输出由SoftMax处理，“ 0”，“ 1”，“ 2”代表标签，“ 0”代表空白。 名称 t = 1 t = 2 t = 3 0 0.25 0.4 0.1 1个 0.4 0.35 0.5 2个 0.35 0.25 0.4 原始解码 因为有3个标签且T = 3，所以将有3 ^ 3 = 27条路径，您可以使用beamDecode（）并将beamsize设置为27以获取所有路径，即： 小路 分数 （2，1） 0.2185 （1、2） 0.2050 （1，） 0.2025 （2，） 0.1290 （1，1） 0.0800 （2，2） 0.0560 （1,2,1） 0.0500
CTCWordBeamSearch：具有针对TensorFlow的字典和语言模型的连接主义时间分类（CTC）解码器
01-29
CTC字束搜索解码算法 具有字典和语言模型的CTC解码器| 纯Python包| TensorFlow定制操作| C ++实现 2020年更新：适用于C ++实现的Python绑定（纯NumPy接口|也可在Windows上使用|也可与其他框架（如PyTorch）一起使用） 第一个代码示例 有两种方法可以在代码中使用解码算法： TensorFlow（TF）自定义操作：将解码器直接放置在TF的计算图中，这是TF的首选方法。 纯NumPy操作：一个Python软件包，仅可在NumPy数组上使用，而无需依赖TF。 如果在Windows上使用（TF在Windows上不支持自定义操作），或者在使用其他一些深度学习框架（如PyTorch）时应使用该软件。 TF中使用的自定义操作的代码框架： # load compiled custom operation module = tf . load_op_library ( 'TFWordBeamSearch.so' ) # decode mat using automatically created dictionary and language
CTC学习笔记（三） 解码
xmdxcsj的专栏
07-02 1万+
解码是对于输入序列x找出概率最大的输出序列l，而不是概率最大的一条输出路径，因为输出路径和输出序列是多对一关系。 l∗=argmax{p(l|x)}l^*=argmax \{p(l|x)\}best path decoding最优路径找出每一帧输出的最大概率组成的输出序列即为最后的解码结果，这种方式会引入问题。 对于上图，这种方法解码出来的结果是blank，但是A的概率反而更高。constr
CTC 的两种解码方法
陶将的博客
10-24 3161
CTC loss 应用于图像文字识别的训练过程中。 在预测过程中，当输入xxx，我们希望能够得到使得p(l∣x)p\left( l | x \right)p(l∣x)概率最大的标签lll。在序列学习问题中，这个问题被称为解码，在有限的时间内得到条件概率最大的序列$l^{*} $。 l∗=argmaxp(l∣x) l^{*} = argmax p\left( l | x \right) l∗=argmaxp(l∣x) 假设有字符列表(′−′,′A′,′B′)\left( '-', 'A', 'B'\right
语音算法笔记（2）——从GMM-HMM到端对端
机器学习知识点整理
07-19 708
语音算法目标 给定语音特征，找到最有可能的文字序列，X：语音特征序列， W：文字序列，可用贝叶斯公式描述： 语音识别系统 输入语音信号，经过特征提取模块，得到整个系统输入的语音特征（也可以直接用waveform做算法的输入）。之后将特征输入decoder模块。decoder模块包含语言模型、声学模型和dictionary（发音词典），其中dictionary可以做为语言模型和声学模型的桥梁，当两者采用不同的建模单元时（词、声韵母），可以通过dictionary实现映射。 语言模型 对词序列本身
【语音识别】Sequence Transduction with Recurrent Neural Networks（RNN-T）
weixin_45234741的博客
06-10 1032
Sequence Transduction with Recurrent Neural Networks(RNN-T) 论文笔记
ctcdecode:PyTorch CTC解码器绑定
04-28
ctc解码 ctcdecode是针对PyTorch的CTC（连接器时间分类）波束搜索解码的实现。 从Paddle 借用的C ++代码。 它包括支持标准波束搜索的可交换评分器支持，以及基于KenLM的解码。 如果您不熟悉CTC和Beam搜索的概念，请访问参考资料部分，我们在其中链接了一些教程，解释了为什么需要它们。 安装 该库基本上是独立的，只需要PyTorch。 构建C ++库需要使用gcc或clang。 还可以选择包含KenLM语言建模支持，并且默认情况下启用该功能。 以下安装也适用于Google Colab。 # get the code git clone --recursive https://github.com/parlance/ctcdecode.git cd ctcdecode && pip install . 如何使用 from ctcdecode import CT
WFST-decoder
06-12
描述了语音识别中关于WFST解码的细节，重点介绍了什么是WFST，两个WFST图如何组合在一起，WFST的确定化和最小化的含义，同时也说明了如何在WFST上进行维特比搜素。
基于BLSTM_CTC和WFST的端到端中文语音识别系统_姚煜.pdf
09-20
基于BLSTM_CTC和WFST的端到端中文语音识别系统_姚煜.pdf
全卷积网络用于手语识别
qq_43787895的博客
05-07 2348
Fully Convolutional Networks for Continuous Sign Language Recognition Abstract. Continuous sign language recognition (SLR) is a challenging task that requires learning on both spatial and temporal dimensions of signing frame sequences. Most recent work acc
ctc 解码原理
jacke121的专栏
08-11 467
ctc 解码原理
CTC loss的几种解码方法：贪心搜索 （greedy search）、束搜索（Beam Search）、前缀束搜索（Prefix Beam Search）
热门推荐
weixin_42615068的博客
06-26 1万+
CTC loss的几种解码方法：贪心搜索 （greedy search）、束搜索（Beam Search）、前缀束搜索（Prefix Beam Search） 前言： 预测新的样本输入对应的输出字符串，这涉及到解码。按照最大似然准则，最优的解码结果为： 然而，上式不存在已知的高效解法。下面介绍几种实用的近似破解码方法。 1 贪心搜索 （greedy search） 原理: 虽然 p(l|x) 难...
探索CTC解码算法：解锁深度学习序列识别的秘钥
gitblog_00008的博客
08-29 849
在深度学习特别是在语音识别和手写字体识别领域，**连接时序分类（CTC）** 是一个不可或缺的技术。今天，我们为您带来一款专为CTC解码设计的开源工具箱——**CTC Decoding Algorithms**，它不仅简化了序列识别中的复杂计算，还提供了与语言模型结合的能力，极大地提升了识别准确性。 ## 项目介绍 **CTC Decoding Algorithms**是一个纯Python实现...
【深度学习】OCR文字识别—基于CTC/Attention/ACE的三大解码算法
fengdu78的博客
08-15 5109
本文全面梳理一下OCR文字识别三种解码算法，先介绍一下什么是OCR文字识别，然后介绍一下常用的特征提取方法CRNN，最后介绍3种常用的解码算法CTC/Attention/ACE。什么是OC...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值