Kaldi学习笔记 -- 构建字典FST脚本 -- prepare_lang.sh 关键内容解析

最新推荐文章于 2024-04-08 09:25:55 发布
最新推荐文章于 2024-04-08 09:25:55 发布
阅读量7.4k 收藏 15
点赞数 6
分类专栏： Kaldi 文章标签： kaldi 语音识别 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duishengchen/article/details/52473918
版权
摘要：本文介绍了Kaldi训练过程中数据准备部分 如何通过字典构造其FST模型。摘取其中较难理解的部分，此为自我见解，欢迎纠正。

1
2
3
4
5
6
7

DuishengChen
关注
  • 6
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kaldi的prepare_data.sh模块解读
Drop_past的博客
08-28 980
#!/bin/bash # # Copyright 2017 Johns Hopkins University (Author: Shinji Watanabe, Yenda Trmal) # Apache 2.0 # Begin configuration section. mictype=worn # worn, ref or others cleanup=true # End con...
kaldi的prepare_dict.sh解读
Drop_past的博客
09-04 859
#!/bin/bash # Copyright (c) 2018, Johns Hopkins University (Jan "Yenda" Trmal<jtrmal@gmail.com>) # License: Apache 2.0 # Begin configuration section. # End configuration section . ./utils/pars...
字典数据结构 FST(Finite State Transducer)
最新发布
alexgaoyihang的专栏
04-08 1135
有限状态自动机（Finite State Transducer，FST）是一种常见的字典数据结构，常用于NLP中。它可以表示一组字符串集合，并提供一种有效的方法来在这些字符串上执行查询操作。FST 可以用于多种不同的任务，包括词形变化、拼写纠正、文本匹配和词义消歧等。
kaldi的源码（一）：关于prepare_lang的L.fst的个人理解
weixin_45699180的博客
02-13 1669
kaldi的prepare_lang和lang文件讲解
关于Lucene的词典FST深入剖析
Koikoi12的博客
09-16 1360
搜索引擎为什么能查询速度那么快？ 核心是在于如何快速的依据查询词快速的查找到所有的相关文档，这也是倒排索引（Inverted Index）的核心思想。那么如何设计一个快速的(常量，或者1)定位词典的数据结构就显得尤其重要。简单来说，我们可以采用HashMap， TRIE， Binary Search Tree， Tenary Search Tree等各种数据结构来实现。 那么开源的搜索引擎包Lucene是怎么来设计的呢？Lucene采用了一种称为FST（Finite State Transducer）的结构
lucene源代码学习之FST(Finite State Transducer)在SynonymFilter中的实现思想
J_bean的博客
11-28 3474
Finite StateTransducers 简称 FST，中文名：有穷状态转换器。在自然语言处理等领域有很大应用，其功能类似于字典的功能（STL 中的map，C# 中的Dictionary），但其查找是O（1）的，仅仅等于所查找的key长度。目前Lucene4.0在查找Term时就用到了该算法来确定此Term在字典中的位置。       FST 可以表示成FST的形式，我们可以用O（leng
深入搜索引擎原理
weixin_34112208的博客
05-15 392
2019独角兽企业重金招聘Python工程师标准>>> ...
kaldi-master.zip_GMM-HMM_HMM GMM_Kaldi-master-_balanceecd_yeth82
09-24
例如，"kaldi-master.zip"中的代码可能包含了数据预处理脚本，用于提取MFCC（梅尔频率倒谱系数）或其他语音特征；模型训练部分可能使用了EM算法进行参数估计；解码阶段则可能利用Viterbi算法寻找最可能的识别路径。 ...
kaldi-active-grammar：具有语法的Python Kaldi语音识别，可以在解码时动态将其设置为activeinactive
02-28
具有语法的Python Kaldi语音识别，可以在解码时动态设置有效/无效 开发了Python软件包，以便使用自动语音识别引擎在语音识别框架中实现对计算机应用程序的基于上下文的命令和控制。 [ GitHub与（仅）我的GitHub赞助...
Kaldi AMI数据集脚本学习2----run_prepare_shared.sh
sunfoot001的专栏
01-13 1117
在学习脚本文件时，重点关注哪些是调用标准函数，哪些是调用特定数据集的数据处理函数; 关注每个阶段处理的输入，输出和控制参数。不要面面俱到，试图理解每行代码。 1. 下载AMI数据集的xml标注文件包；    从xml格式的标注文件提取得到data/local/annotations文件夹下文本格式的标注文件train.txt,eval.txt,dev.txt. # Do
学习笔记——搞懂FST数据结构
Mark姚
06-19 7295
搞懂FST
倒排索引：ES倒排索引底层原理及FST算法的实现过程
Elastic开源社区
08-08 1万+
这也许是你全网你能找到的最详细的倒排索引的底层解读。博主把倒排索引的讲解划分为以下七个部分，理解难度递增，可根据自身需要选择依次阅读或者针对性阅读。通常来说，应付一般的面试，理解第一部分即可。如果需要面试搜索相关业务的岗位，需要深层次理解倒排索引，可根据自身情况选择阅读。本文花费了作者大量的精力来论证和整理，如果你喜欢作者的文章，请帮忙点个赞和关注吧 O(∩_∩)O ~。谢谢大家的支持。提到ES，大多数爱好者想到的都是搜索引擎，尽管这是个误区，但是也不得不提。大数据搜索最重要的三个要素分别是 “快”、“准”
FST结构 （解决Trie前缀树 后边不能复用的问题）
qq_52988841的博客
09-06 241
hashmap skip list Trie前缀树 FST。
Kaldi语音识别技术(三) ----- 完成L.fst的生成
yxn4065的博客
11-13 1935
一个完整的Kaldi需要得到下面四个FST识别流程如下:本章节完成以下内容:L.fst的生成
lucene底层数据结构——FST，针对field使用列存储，delta encode压缩doc ids数组，LZ4压缩算法...
djph26741的博客
12-27 838
参考： http://www.slideshare.net/lucenerevolution/what-is-inaluceneagrandfinal http://www.slideshare.net/jpountz/how-does-lucene-store-your-data http://www.infoq.com/cn/articles/database-timestam...
lucene字典Finite State Transducers(FST)
AAA821的专栏
09-20 2323
下面大部分内容转自http://www.cnblogs.com/LBSer/p/4119841.html 使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。       怎么实现一个字典呢？我们马上想到排序数组，即term字典是一个...
FST-lucene字典实现原理
qq_38229543的博客
07-06 408
http://www.cnblogs.com/LBSer/p/4119841.html 1 lucene字典       使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。       怎么实现一个字典呢？我们马上想到排序数组，即term字典是一个已经按字母顺序排序好的数组，数...
HBase学习笔记之Apache Phoinex
风景旧曾谙
09-19 831
文章目录Phoinex 快速入门命令行工具`psql`的使用`JDBC`的使用`Phoinex`的数据类型`Phoinex的DML语法`SELECTUPSERT VALUESDELETE`Phoinex`中常见的指令加盐表什么是加盐为什么要加盐，能解决什么问题怎么对表加盐加盐的原理是什么一个表“加多少盐合适”加盐时需要注意二级索引概念二级索引全局索引本地索引覆盖索引函数索引什么是二级索引索引 Bu...
Kaldi WFST HCLG.fst 构图 学习
热门推荐
lucky_ricky的博客
08-23 2万+
HCLG.fst由四部分构成 1.G：语言模型WFST，输入输出符号相同，实际是一个WFSA（acceptor接受机），为了方便与其它三个WFST进行操作，将其视为一个输入输出相同的WFST。 2.L：发音词典WFST，输入符号：monophone，输出符号：词; 3.C:上下文相关WFST，输入符号：triphone（上下文相关），输出符号：monophnoe; 4.H:HMM声学模型W...
export PATH=$PWD/subtools/kaldi/utils/:$KALDI_ROOT/tools/openfst/bin:$PWD:$PATH [ ! -f $KALDI_ROOT/tools/config/common_path.sh ] && echo >&2 "The standard file $KALDI_ROOT/tools/config/common_path.sh is not present -> Exit!" && exit 1 . $KALDI_ROOT/tools/config/common_path.sh详细解释并注释这段代码
05-24
这段代码是用来设置环境变量的，具体解释如下： ``` export PATH=$PWD/subtools/kaldi/utils/:$KALDI_ROOT/tools/openfst/bin:$PWD:$PATH ``` - `export PATH=` 表示将后面的路径添加到环境变量 PATH 中。 - `$PWD/subtools/kaldi/utils/` 是一个路径，指的是当前工作目录下的 `subtools/kaldi/utils/` 目录。 - `$KALDI_ROOT/tools/openfst/bin` 是另一个路径，指的是 Kaldi 工具箱所依赖的 OpenFST 库的二进制文件目录。 - `$PWD` 表示当前工作目录。 - `$PATH` 是系统默认的环境变量，表示可执行文件的搜索路径。 所以整个命令的意思是将当前工作目录下的 `subtools/kaldi/utils/` 目录和 Kaldi 工具箱所依赖的 OpenFST 库的二进制文件目录添加到系统默认的环境变量 PATH 的前面，这样在执行命令时就可以直接调用这些路径下的可执行文件。 ``` [ ! -f $KALDI_ROOT/tools/config/common_path.sh ] && echo >&2 "The standard file $KALDI_ROOT/tools/config/common_path.sh is not present -> Exit!" && exit 1 ``` 这一行代码是用来判断 `$KALDI_ROOT/tools/config/common_path.sh` 是否存在，如果不存在则输出错误信息并退出。 ``` . $KALDI_ROOT/tools/config/common_path.sh ``` 这一行代码是用来执行 `$KALDI_ROOT/tools/config/common_path.sh` 脚本文件，该文件定义了一些环境变量和函数，供 Kaldi 工具箱使用。其中 `.` 表示在当前 shell 环境中执行脚本文件，这样设置的环境变量和函数会在当前 shell 环境中生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值