CTC学习笔记（四） 解码-WFST

最新推荐文章于 2022-07-18 06:38:46 发布
最新推荐文章于 2022-07-18 06:38:46 发布
阅读量1w 收藏 6
点赞数
分类专栏： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xmdxcsj/article/details/51824214
版权

类似于HCLG的wfst结构，EESEN: END-TO-END SPEECH RECOGNITION USING DEEP RNN MODELS AND WFST-BASED DECODING文章提出了TLG的网络结构

Grammar

这里写图片描述

Lexicon

有两种形式，可以基于characters和phonemes。
这里写图片描述

Token

对应于传统的state，前后添加blank，而且状态存在自旋
这里写图片描述

网络

S = T ∘ m i n ( d e t ( L ∘ G ) ) S=T\circ min(det(L\circ G)) S=T∘min(det(L∘G))

结论

相比于传统的hybrid方法，准确率差不多，解码速度有三倍以上的提升。原因在于，状态数从几千个降到了几十个，减小了网络复杂度。

后面的技术分享转移到微信公众号上面更新了，【欢迎扫码关注交流】

在这里插入图片描述

xmdxcsj
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ASR-详解CTC(Connectionist Temporal Classification)
u013250861的博客
05-13 44
在语音识别中，我们的数据集是音频文件和其对应的文本，不幸的是，音频文件和文本很难再单词的单位上对齐。除了语言识别，在OCR，机器翻译中，都存在类似的Sequence to Sequence结构，同样也需要在预处理操作时进行对齐，但是这种对齐有时候是非常困难的。如果不使用对齐而直接训练模型时，由于人的语速的不同，或者字符间距离的不同，导致模型很难收敛。
用pytorch+CTC+WFST实现汉语语音识别
m0_37135912的博客
07-31 1543
最近专门空出来很多时间，准备把一直犹豫不决要不要写的智能理论写出来，同时准备用语音识别做一些实验，所以有了这个项目。 语音识别实验比可选的工具有kaldi，wav2letter，espnet等，使用比较广泛工具是kaldi，但是对于前端语音处理的部分，我觉得kaldi所使用的HMM-GMM方式相当的不直观，Kaldi所使用的nnet神经网络也不是目前主流的深度学习工具。而kaldi创建者Daniel Povey要推出的与pytorch接口良好的kaldi新的版本也还没有出来。但是kaldi的WFST解码系统
CTCDecoder:连接主义时间分类 (CTC) 解码算法
07-24
CTC解码算法 2021 年更新：可安装的 Python 包 一些常见的连接主义时间分类 (CTC) 解码算法的Python 实现。 提供了一个简约的语言模型。 安装 转到存储库的根级别 执行pip install . 转到tests/并执行pytest以检查安装是否有效 用法 基本用法 这是一个简约的可执行示例： import numpy as np from ctc_decoder import best_path , beam_search mat = np . array ([[ 0.4 , 0 , 0.6 ], [ 0.4 , 0 , 0.6 ]]) labels = 'ab' print ( f'Best path: " { best_path ( mat , labels ) } "' ) print ( f'Beam search: " { beam_search (
CTC学习笔记（三） 解码
热门推荐
xmdxcsj的专栏
07-02 1万+
解码是对于输入序列x找出概率最大的输出序列l，而不是概率最大的一条输出路径，因为输出路径和输出序列是多对一关系。 l∗=argmax{p(l|x)}l^*=argmax \{p(l|x)\}best path decoding最优路径找出每一帧输出的最大概率组成的输出序列即为最后的解码结果，这种方式会引入问题。 对于上图，这种方法解码出来的结果是blank，但是A的概率反而更高。constr
CTC 的两种解码方法
陶将的博客
10-24 2797
CTC loss 应用于图像文字识别的训练过程中。 在预测过程中，当输入xxx，我们希望能够得到使得p(l∣x)p\left( l | x \right)p(l∣x)概率最大的标签lll。在序列学习问题中，这个问题被称为解码，在有限的时间内得到条件概率最大的序列$l^{*} $。 l∗=argmaxp(l∣x) l^{*} = argmax p\left( l | x \right) l∗=argmaxp(l∣x) 假设有字符列表(′−′,′A′,′B′)\left( '-', 'A', 'B'\right
compareCTCDecoder:比较三种CTC解码器，即贪婪解码器，波束解码器和前缀波束解码器
05-02
compareCTCDecoder 大多数代码均来自中文编写的 。 比较三种CTC解码器，即贪婪解码器，波束解码器和前缀波束解码器。 我给出一个网络输出的示例，该网络输出由SoftMax处理，“ 0”，“ 1”，“ 2”代表标签，“ 0”代表空白。 名称 t = 1 t = 2 t = 3 0 0.25 0.4 0.1 1个 0.4 0.35 0.5 2个 0.35 0.25 0.4 原始解码 因为有3个标签且T = 3，所以将有3 ^ 3 = 27条路径，您可以使用beamDecode（）并将beamsize设置为27以获取所有路径，即： 小路 分数 （2，1） 0.2185 （1、2） 0.2050 （1，） 0.2025 （2，） 0.1290 （1，1） 0.0800 （2，2） 0.0560 （1,2,1） 0.0500
CTCWordBeamSearch：具有针对TensorFlow的字典和语言模型的连接主义时间分类（CTC）解码器
01-29
CTC字束搜索解码算法 具有字典和语言模型的CTC解码器| 纯Python包| TensorFlow定制操作| C ++实现 2020年更新：适用于C ++实现的Python绑定（纯NumPy接口|也可在Windows上使用|也可与其他框架（如PyTorch）一起使用） 第一个代码示例 有两种方法可以在代码中使用解码算法： TensorFlow（TF）自定义操作：将解码器直接放置在TF的计算图中，这是TF的首选方法。 纯NumPy操作：一个Python软件包，仅可在NumPy数组上使用，而无需依赖TF。 如果在Windows上使用（TF在Windows上不支持自定义操作），或者在使用其他一些深度学习框架（如PyTorch）时应使用该软件。 TF中使用的自定义操作的代码框架： # load compiled custom operation module = tf . load_op_library ( 'TFWordBeamSearch.so' ) # decode mat using automatically created dictionary and language
CTC-LSTM-ENSPEECH-英语语音识别
03-05
总结来说，“CTC-LSTM-ENSPEECH”项目展示了如何利用深度学习技术，特别是CTC和LSTM的联合模型，来进行高效的英语语音识别。这个项目不仅为学习者提供了实践经验，也为研究人员提供了探索和改进语音识别算法的平台。...
fast-ctc-decode:闪电般的快速CTC波束搜索解码器
05-18
$ pip install fast-ctc-decode 用法 >> > from fast_ctc_decode import beam_search , viterbi_search >> > >> > alphabet = "NACGT" >> > posteriors = np . random . rand ( 100 , len ( alphabet )). astype ...
ctc-segmentation:CTC分段python包
03-15
该存储库包含ctc-segmentation python软件包。 该算法的说明位于 本文中使用的代码存储在 安装 随着pip ： pip install ctc-segmentation 使用您最喜欢的AUR帮助程序从Arch Linux AUR中以python-ctc-...
CTC-essen-论文-yajie
03-01
该论文主要是有关CTC的essen 实验，是yajie 博士的论文。
ctcdecode:PyTorch CTC解码器绑定
04-28
ctc解码 ctcdecode是针对PyTorch的CTC（连接器时间分类）波束搜索解码的实现。 从Paddle 借用的C ++代码。 它包括支持标准波束搜索的可交换评分器支持，以及基于KenLM的解码。 如果您不熟悉CTC和Beam搜索的概念，请访问参考资料部分，我们在其中链接了一些教程，解释了为什么需要它们。 安装 该库基本上是独立的，只需要PyTorch。 构建C ++库需要使用gcc或clang。 还可以选择包含KenLM语言建模支持，并且默认情况下启用该功能。 以下安装也适用于Google Colab。 # get the code git clone --recursive https://github.com/parlance/ctcdecode.git cd ctcdecode && pip install . 如何使用 from ctcdecode import CT
基于BLSTM_CTC和WFST的端到端中文语音识别系统_姚煜.pdf
09-20
基于BLSTM_CTC和WFST的端到端中文语音识别系统_姚煜.pdf
关于LSTM+CTC详解
05-08
LSTM+CTC详解
DONUT: CTC-based Query-by-Example Keyword Spotting
01-21
DONUT: CTC-based Query-by-Example Keyword Spotting
【深度学习】OCR文字识别—基于CTC/Attention/ACE的三大解码算法
fengdu78的博客
08-15 4110
本文全面梳理一下OCR文字识别三种解码算法，先介绍一下什么是OCR文字识别，然后介绍一下常用的特征提取方法CRNN，最后介绍3种常用的解码算法CTC/Attention/ACE。什么是OC...
CTC算法详解
qq_50749521的博客
07-18 4736
CTC
CTC
为实现四个现代化奋斗
07-02 1659
转自：https://blog.csdn.net/luodongri/article/details/77005948白话CTC(connectionist temporal classification)算法讲解2017年08月09日 17:24:21阅读数：7357 CTC是计算一种损失值，主要的优点是可以对没有对齐的数据进...
CTC 讲解和python实现
dhj_tsukuba的博客
04-21 1259
文章目录损失函数解码和语言模型结合代码实现 讲解比较详细的博客 CTC的原始paper 在大多数语音识别任务中，我们都缺少文本和音频特征的alignment，Connectionist Temporal Classification作为一个损失函数，用于在序列数据上进行监督式学习，可以不需要对齐输入数据及标签。 对于输入序列X=[x1,x2,..,xT]X=[x_1, x_2, .., x_T]X=[x1​,x2​,..,xT​] 和 输出序列 Y=[y1,y2,...,yU]Y = [y_1, y_2.
ctc E208: syntax error - token ";" inserted before "{"
最新发布
07-16
根据报错信息 "ctc E208: syntax error - token ";" inserted before "{"，这是一个语法错误，可能是在大括号之前缺少了分号。 请检查你的代码，特别是在使用控制结构（如if语句、for循环、while循环等）时，确保...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值