KALDI运行yesno和TIMIT实例

最新推荐文章于 2022-01-12 15:31:09 发布
最新推荐文章于 2022-01-12 15:31:09 发布
阅读量1k 收藏 9
点赞数 3
分类专栏： 内容安全实验 文章标签： python timit 声学 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43091428/article/details/117378728
版权

文章目录

写在前面

难
在这里插入图片描述

友友们，别问我为何这次这么晚，俺是真的没时间写，哭唧唧。

一、部署KALDI

1. 下载并解压KALDI工具箱

这个大家自己去搜一搜安装包，github上也有。

2. tools中执行extras/check_dependencies.sh脚本，根据其输出安装依赖库直到输出ALL OK

采样率即在一秒的音频时间里进行采样的次数，采样率为20k时即是一秒钟对音频进行20000次采样。根据香农采样定理，想要完整地还原声音，采样率至少要为音频中最高频率的2倍。人耳的可感知频率是20-20khz，因此为真实地还原音频，CD采用了40+kHz的采样率。
在这里插入图片描述
在这里插入图片描述

3.make

在这里插入图片描述
在这里插入图片描述

4. src中执行./configure –shared

在这里插入图片描述

5. src中执行make depend和make

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、运行yesno项目实例，简要解析发音词典内容，画出初步的WFST图

1. 下载并划分数据集

从网络上下载数据集文件waves_yesno.tar.gz到s5/路径下并解压。
原始的数据是60个wav文件。文件名是八个用下划线分隔的01组合。需要将音频数据转化成kaldi能够处理的格式。
运行指令local/prepare_data.sh waves_yesno准备数据（生成训练和测试集）
在这里插入图片描述

Kaldi使用以下几个文件来表示数据：
(1)Text
音频的文本记录。每一个音频文件一行。格式为<utt_id> 。<utt_id>为音频的id，一般用不带扩展名的文件名表示。utt_id在wav.scp文件中与具体的文件映射。是音频对应的文字。
在这里插入图片描述

(2)wav.scp
将文件映射到唯一的utt_id。格式为<utt_id>
第二个参数既可以是对应utt_id的音频文件路径，也可以是能够获得音频文件的指令。
在这里插入图片描述

(3)utt2spk
对于每一个音频文件，标记是哪一个人发音的。因为yesno数据集中只有一个发音者，用global来表示所有的utt_id。文件内每一行的格式为<utt_id> <speaker_id>。
在这里插入图片描述

(4)spk2utt
和utt2spk反过来。文件内每一行对应一个发音者，第一个是speaker的id，后面用空格分隔开60个utt_id。格式为<speaker_id> <utt_id1> <utt_id2>。
在这里插入图片描述

2. 建立词典

对于当前项目，我们只有两个词 yes和no。
在真实的语言中，词的数量更多，并且还有停顿和环境噪声。
kaldi将这些非语言的声音称作slience（SIL）。加上SIL一共需要三个词来表示当前这个yesno语言模型。执行指令local/prepare_dict.sh，将会在s5/data/local/dict中看到新生成的5个文件。其中发音词典lexicon.txt给出了YES、NO和三个单词的音素序列
在这里插入图片描述

3. 构造语言模型

接下来要做语言模型。
项目提供了一个一元的语言模型。然而我们需要将这个模型转换成一个WFST（一种有穷自动机）。执行指令: local/prepare_lm.sh ，这条命令将这个模型转换成一个WFST（有限加权状态转换机）
在这里插入图片描述
执行后在data/lang_test_tg文件夹下生成WFST，文件格式为fst，我们执行以下指令将其转化为jpg图片。
在这里插入图片描述
查看图片文件：

在这里插入图片描述

在这里插入图片描述

4. MFCC特征提取和GMM-HMM建模

提取梅尔倒谱系数。这里我采用的参数是 output_dir=mfcc。那么结果将会保存在mfcc文件夹下。
建立提取mfcc特征脚本文件mfcc.sh,并运行：
在这里插入图片描述

建立模型训练脚本文件model.sh，并运行:
在这里插入图片描述

到现在我们已经完成了模型的训练。
接下来用测试集来验证一下模型的准确与否。
第一步是创建一个全连接的FST网络。
在这里插入图片描述

然后steps/decode.sh [options] 用来寻找每一个测试音频的最佳路径，写一个脚本文件find.sh并运行：
在这里插入图片描述

5. 查看结果

在decode.sh内部最后会调用score.sh，这个脚本则生成预测的结果并且计算测试集Word error rate（WER）。
调用下列命令可以看到最好的效果：
for x in exp//decode; do [ -d $x ] && grep WER $x/wer_* | utils/best_wer.sh;
done
结果如下：
WER后跟着的0.00是说字的错误率为0，即准确率为100%。
测试集一共29条音频，每条音频有8个字（单音素的字）。一共232个字。
在这里插入图片描述

三、调整并运行TIMIT项目，将命令行输出的过程与run.sh各部分进行对应，叙述顶层脚本run.sh的各部分功能

1. TIMIT实例介绍

TIMIT全称The DARPA TIMIT Acoustic-Phonetic Continuous Speech Corpus, 是由德州仪器(TI)、麻省理工学院(MIT)和坦福研究院(SRI)合作构建的声学-音素连续语音语料库。TIMIT数据集的语音采样频率为16kHz，一共包含6300个句子，由来自美国八个主要方言地区的630个人每人说出给定的10个句子，所有的句子都在音素级别(phone level)上进行了手动分割，标记。
TIMIT语料库多年来已经成为语音识别社区的一个标准数据库，在今天仍被广为使用。其原因主要有两个方面：数据集中的每一个句子都在音素级别上进行了手动标记，同时提供了说话人的编号，性别，方言种类等多种信息；数据集相对来说比较小，可以在较短的时间内完成整个实验；同时又足以展现系统的性能。

2. 安装irstlm

irstlm是语言模型工具包，Timit要用到，安装的脚本在kaldi/tools/extras/install_irstlm.sh。
cd kaldi/tools/extras
./install_irstlm.sh
在这里插入图片描述

3. 准备数据

在/egs/timit/s5/data目录下创建TIMIT文件夹，Timit语音库分为train和test两个文件夹，将这两个文件夹放在TIMIT下面。
在这里插入图片描述
在这里插入图片描述

4. 准备训练模型

进入/egs/timit/s5文件夹，s5文件夹下中包含三个关键的脚本：cmd.sh，path.sh，run.sh。
cmd.sh用来定义每个步骤使用的脚本。修改cmd.sh：
在这里插入图片描述

path.sh用来定义各种工具包的路径。修改path.sh如下：
在这里插入图片描述

run.sh是所有阶段的脚本，包括了读取数据，建立发音字典，特征提取，声学模型训练（单音节、双音节、三音节、SGMM2、DNN等等），解码。最后显示各种模型的正确率。
在运行之前，需要修改run.sh脚本中的Timit数据路径(必须提供自己的Timit绝对路径)：
在这里插入图片描述

run.sh中SGMM2 Training & Decoding部分 exit 0 要注释掉
在这里插入图片描述

5. 运行

cd kaldi/egs/timit/s5
./run.sh
在这里插入图片描述

6. 分析runsh.sh脚本每个模块的作用

Acoustic model parameters下的参数是声学模型的参数；
#nj是指需要运行jobs的数量，一般不超过cpu的数量；
在这里插入图片描述

这部分代码功能是生成词典文件，并将模型转换成一个WFST；
在这里插入图片描述
在这里插入图片描述

这部分代码功能是提取MFCC特征；
在这里插入图片描述
在这里插入图片描述

这里是单音素的训练和解码部分，语音识别最基础的部分；
在这里插入图片描述
在这里插入图片描述

这里是三音素的训练和解码部分；
在这里插入图片描述
在这里插入图片描述

这里在三音素模型的基础上做了 LDA + MLLT 变换；
在这里插入图片描述
在这里插入图片描述

这里是三音素模型的基础上做了 LDA + MLLT + SAT 变换；
在这里插入图片描述
在这里插入图片描述

这里是三音素模型的基础上做了 sgmm2；
在这里插入图片描述
在这里插入图片描述

这里是三音素模型的基础上做了 MMI + SGMM2；
在这里插入图片描述
在这里插入图片描述

这里是povey版本的dnn模型：
在这里插入图片描述
在这里插入图片描述

这里是得到上述模型的最后识别结果；

在这里插入图片描述

在这里插入图片描述

宫水二叶
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kaldi timit实例运行全过程-附件资源
03-05
kaldi timit实例运行全过程-附件资源
Kaldi学习笔记（二）——实例yesno和timit的应用
snowdroptulip的博客
12-27 8859
Kaldi的安装与编译请参考：Kaldi的安装与编译 Kaldi的例子有很多，在egs目录下面，对Kaldi不熟悉的小白们可以先从yesno和timit两个例子入手，这样可以对Kaldi有个直观的认识。 一、运行yesno实例 该实例是一个非常小的数据集，每一条记录都是一系列yes或者no的语音，标注是由文件名来标注的。先运行一下。 切换到./egs/yesno/s5目录下，运行sudo.
Kaldi 使用，egs下通用样例及功能小结（很硬，慎入）
c12345678999的博客
05-29 3761
样例表 egs下的样例 数据源，功能 用到的相关工具 aidatatang_200zh/s5 数据堂200h中文开源数据，用于语音识别 LM+MFCC+Mono+Triphone(tri1:deltas;tri2:delta+delta-delta;tri3a:lda+mllt)+fMLLR+SAT+TDNN aishell/v1 openslr33数据 ，声纹识别(ivector) MFCC+UBM+PLDA aishell/s5 openslr33数据 ，语音识别 LM+MFCC
【Kaldi例子】YesNo：Hello Kaldi
qq_39573785的博客
12-11 3455
本文是对Kaldi中最简单例子egs/yesno/s5的实验记录。 数据集 使用数据集waves_yesno，该数据集只有yes和no两种发音。数据集没有文本文件，因为音频对应的文本都由wav文件的文件名所表示。例如1_0_1_0_1_0_0_1.wav中，1表示yes，0表示no。 数据准备 划分训练集和测试集 把数据规范成Kaldi规定的数据文件夹格式 # 运行local/prepare_data.sh waves_yesno后生成的结果 # 其中local文件夹里的脚本是特别为该数据集编写的，
Kaldi中的Chain模型
weixin_30564901的博客
09-09 548
Chain模型的训练流程 链式模型的训练过程是MMI的无网格的版本，从音素级解码图生成HMM，对其使用前向后向算法，获得分母状态后验，通过类似的方式计算分子状态后验，但限于对应于转录的序列。 对于神经网络的每个输出索引（即对于每个pdf-id），我们计算（分子占有概率 - 分母占用概率）的导数，并将它们在网络中反向传播。 分母FST 对于计算中的分母部分，我们对HMM进行前向-后向计算...
ivector-xvector：在kaldi下提取xvector和ivector
02-05
Kaldi用于ivector和xvector的摘要 文件清单 ivector/ conf/ ：为mfcc和vad配置文件 wav/ ：测试音频（您也可以使用自己的wav路径，请参阅步骤1 ） 仅支持flac（安装flac），wav和sph（安装sph2pipe） model_3000h...
构建Kaldi需要的openfst和测试Kaldi是否安装成功的音频文件
04-10
资源里面有两个文件夹，一个是构建Kaldi语音识别工具箱非常重要的openfst，版本为1.6.7，将名称为openfst-1.6.7的文件拷贝到...另一个文件是最后测试工具是否安装成功的音频，可以拷贝到Kaldi的egs->yesno->s5文件夹。
Kaldi 和语音识别
04-13
Kaldi 和语音识别
Kaldi安装+编译+egs/yesno脚本运行
Xixoqw的博客
03-29 465
文章目录源码下载安装依赖及工具编译kaldi代码egs/yesno脚本运行结束语 kaldi，我就不做过多介绍了，源码在github上，官方教程网址是http://kaldi-asr.org/doc/index.html。 源码下载 我的操作系统是Linux。 下载直接利用git版本控制系统就可以了,打开终端，直接在你的实验目录下的命令行输入命令： git clone https://github.com/kaldi-asr/kaldi.git 稍等一会，提示OK后，能够看到以下文件： egs ：此
kaldi环境搭建 、 yesno 测试
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
03-14 3149
kaldi环境搭建 、 yesno 测试、一文读懂
【Kaldi例子】Kaldi经典声学建模
qq_39573785的博客
01-12 3323
基本概念 在经典语音识别框架中，一个声学模型就是一组HMM。对于语音识别框架中的声学模型中的每个HMM，都定义该HMM中有多少个状态，以及以各个状态起始的马尔可夫链的初始概率、个状态间的转移概率和每个状态的概率分布函数。 在语音识别实践中，一般令初始概率恒为1，把状态间的转移概率预设为固定值，不在训练过程中更新状态转移概率。声学模型包含的信息主要是状态定义和各状态的观察概率分布。如果使用高斯混合模型对观察概率分布建模，那就是GMM-HMM模型，如果用神经网络模型对观察概率分布建模，那就是NN-HMM。 HM
Kaldi-yesno详解
nsh119的博客
08-11 6171
在Kaldi的egs文件下有很多基于公共语音数据库的训练步骤及测试结果，其中也有中文的，本文就相对很简单的yesno样例结合脚本以及脚本运行结果进行详细的解析，以更好地理解语音识别的整体流程。 总括 我们先来看一下run.sh脚本 cd ./egs/yesno/s5/ vi run.sh =================================================...
【Kaldi例子】Librispeech数据整理
qq_39573785的博客
01-12 7140
数据分集 数据采集自有声书网站，首先对每个句子做一遍语音识别，识别模型使用WSJ示例中的声学模型，语言模型使用二元文法，语言模型数据为语音数据对应的电子书文本。根据识别结果，统计每个说话人的WER，从低到高排序，前一半标记为clean，表示这些说话人语音比较清晰，其余标记为other。 从clean数据中，随机抽取20名男性和20名女性作为开发集（dev-clean），剩余说话人抽取相同规模的测试集（test-clean），其余作为训练集。训练集随机分为100小时和360小时的子集（train-clean-
Kaldi入门：yesno项目
hdm314的博客
08-07 1037
这个学期选了一门自然语言处理课，结果这门课主要的研究课题是自动语音识别（ASR）。既然入了这个坑。就先好好了解一下如何做ASR吧。 老师Tom Ko要求使用Kaldi这个工具来做ASR。课上到一半才知道Kaldi中有几千行的脚本代码是老师提交的。好吧，脚本好难的。 为了入门Kaldi，课程的第5次Lab是一个mini projec: yesno 首先要下载并编译Kaldi，安装的过程不是我的学习重点，可以先参考Kaldi的下载安装与编译，在漫长的编译过程之后假设已经安装好了Kaldi。 项目目录结构
kaldi test for yesno
anzhuangguai的专栏
08-24 479
OS: Ubuntu 18.08 Install Steps: 1 git clone 2 cd tools/extra/ check_depend.sh 3 sudo apt-get softwares needed by step2 4 sudo apt-get install libatlas-dev ubuntu18.08 's libatlas-dev version is ...
kaldi运行timit
audio_algorithm的博客
04-09 1075
1、下载timit数据，将数据解压在egs/timit/data 目录下 2、打开s5目录，编辑run.sh 如下（根据timit数据存放的目录修改）： echo ============================================================================ echo " Data & Lexico...
kaldi-yesno文件说明
weixin_42831564的博客
05-17 669
已经运行过的yesno示例，生成的文件如下： ├── conf 配置文件夹 │├── mfcc.conf │└── topo_orig.proto ├── data yesno运行产生的相关文件 │├── lang 跟语言相关 执行lang相关脚本产生的跟音素相关的文件 ││├── L_disambig.fst ││├── L...
kaldi中yesno数据集脚本解析总结
jamestao123的博客
03-25 756
rm -rf data exp mfcc #删除以下文件 local/prepare_data.sh waves_yesno #数据文件准备 local/prepare_dict.sh #数据字典准备 utils/prepare_lang.sh --position-dependent-phones false data/local/dict “” data/local/lang dat...
window如何下载和安装Kaldi
最新发布
06-12
在Windows上安装Kaldi可能会比较复杂，因为Kaldi主要是针对Linux系统开发的。但是，你可以通过使用虚拟机或者Windows Subsystem for Linux（WSL）来在Windows上安装Kaldi。 其中，使用WSL可能是最简单的方法。你可以按照以下步骤来安装Kaldi： 1. 安装WSL。在Windows 10上，你可以通过“控制面板”->“程序”->“启用或关闭Windows功能”来启用WSL。启用后，在Microsoft Store中搜索“Ubuntu”并安装。 2. 打开Ubuntu，更新软件包列表：在Ubuntu终端中运行以下命令： ``` sudo apt-get update ``` 3. 安装Kaldi依赖项。在Ubuntu终端中运行以下命令： ``` sudo apt-get install -y g++ automake autoconf libtool subversion git zlib1g-dev libatlas-base-dev libatlas3-base gfortran liblapack-dev libblas-dev libffi-dev python3 python3-pip python3-yaml python3-six python3-setuptools ``` 4. 下载Kaldi。在Ubuntu终端中运行以下命令： ``` git clone https://github.com/kaldi-asr/kaldi.git ``` 5. 编译Kaldi。在Ubuntu终端中运行以下命令： ``` cd kaldi/tools ./extras/check_dependencies.sh make -j <num-jobs> cd ../src ./configure --shared --mathlib=ATLAS make depend -j <num-jobs> make -j <num-jobs> ``` 其中，<num-jobs>是编译使用的CPU核心数。 6. 安装完成后，你可以通过运行以下命令来测试Kaldi： ``` cd ../egs/yesno/s5 ./run.sh ``` 该命令会对一个简单的Yes/No语音识别任务进行训练和测试。 注意：由于Kaldi是一个非常庞大的软件包，它的编译和安装可能需要一定的时间和计算资源。另外，在Windows上使用WSL安装Kaldi可能会有一些限制和不便之处，建议在Linux操作系统上进行安装和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宫水二叶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值