语音识别之Kaldi：学习GMM-HMM

已于 2022-12-08 14:14:55 修改
阅读量2k 收藏 18
点赞数 2
分类专栏： 语音识别 文章标签： 语音识别 人工智能
于 2022-12-07 21:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36002089/article/details/128216320
版权

语音识别之Kaldi

kaldi语音识别理论与实践课程学习。

前面的博客介绍了语音识别的基础知识及原理。现在开始学习实战。以Kaldi框架为基础。

Kaldi是一个有全套的语音识别代码的工具，由Dan Povey博士和捷克的BUT大学联合开发，最早发布于2011年，底层代码使用C++编写，接口采用shell和python，覆盖了统计模型和深度学习方法，操作灵活，易于扩展，开发者更为活跃。

语音识别流程：

在这里插入图片描述

目前开源的语料库有：
在这里插入图片描述

Kaldi实战

Kaldi官网：KALDI

里面有详细的文档。
在这里插入图片描述

  • 下载Kaldi：https://github.com/du-ud/kaldi-cslt.git
    注： 安装kaldi前， 已编译好cuda
    在这里插入图片描述

  • 下载数据集：（开源数据集thchs30）
    OpenSLR： https://openslr.org/18/

整个流程包括以下几个部分：
在这里插入图片描述

数据准备

数据预处理
1.划分为训练集train和测试集test

在这里插入图片描述
输入： 数据存储地址
输出： 在当前目录下新生成的 /data 文件夹，里面如下图。train和test里的文件夹名字一样，但内容不一样，不然就是作弊了。
在这里插入图片描述

  • wav.scp：音频索引地址
    在这里插入图片描述
  • text：音频文件对应的文本内容
    这个文本内容中间有一些空格，因为是经过了分词处理
    在这里插入图片描述
  • utt2spk：每个句子是有哪个说话人说的
    在这里插入图片描述
  • spk2utt：每个说话人都说了哪些句子
    在这里插入图片描述
    为什么有后两个文件夹呢？
    因为之前的数据比较稀少，说话人对语音识别性能的影响比较大，可能同一套ASR对这个人识别效果好，对另一个人就不行。现在可以通过某种算法，先提取说话人信息，将该信息从说话人模型中去除，就可以较小不同说话人的影响。但后面随着数据的增多，就不用去除了。

2.生成dict文件夹

在这里插入图片描述
dict 文件夹里如下：
在这里插入图片描述

去除了lexion里面的一些特殊符号。首先打开看一下：

cd data/dict/
vim lexicon.txt

lexion是一个发音词典，表示每个字的读音，但它的注音和我们的拼音不太一样但也差不多
在这里插入图片描述

再看看extra_questions.txt里面的

cd data/dict/
vim extra_questions.txt

将具有相同声调的音归为一行，为了有助于GMM训练时决策树的聚类。如果后面训练别的语种，不知道这些信息的话就把这些文件设为空。
在这里插入图片描述

再看看nonsilence_phones.txt里面的

cd data/dict/
vim nonsilence_phones.txt

去除静音音素之外，所有音素的集合。
在这里插入图片描述
3.生成lang文件夹
是在dict基础上生成的。
首先在data文件夹下建一个lang文件夹，调用prepare_lang.sh这个脚本，输入是dict文件，输出在lang文件夹下。
在这里插入图片描述

里面的两个参数：
在这里插入图片描述
第一个考虑到英文的某个单词是另一个单词的前缀或后缀（位置相关），在数据有限的情况下，考虑位置信息提高性能。数据量大的话不用考虑。
第二个就是系统将不认识的词映射到oov里面。

lang文件夹里如下：
在这里插入图片描述

  • L.fst：音素到词的映射关系。输入的是音素，输出是词。
cd data/lang
fstprint L.fst | head -n 20

例：第一行
前两个数，表示从0状态跳转到1状态
三四数：输入输出表达的什么东西
第五个数：跳转的概率（先赋予一部分的初始概率）
在这里插入图片描述

为了更清楚，加上输入phones和输出words重新打印

cd data/lang
fstprint --osymbols=words.txt --isymbols=phones.txt L.fst | head -n 20

第三列：phone的id
第四列：word的id
第五列：预先赋予的跳转概率（给eps, spokenNoise等这些特殊符号的），下面那些词的概率需要经过声学&语言模型的训练得到的。
在这里插入图片描述

  • oov：将不认识的集外词映射到里面去。

  • phones.txt：音素映射表，对每个音素进行编号

  • phones文件夹：用于决策树聚类
    我们看一下里面

cd data/lang
head -n 20 phones.txt

出现下图中间的一个。

数据准备-words、phones与lexicon的关系
在这里插入图片描述

  • words.txt：词映射表，对每个词进行编号
    里面的词和发音词典的词基本一一对应（发音词典大概有五万多个词，对应的词表只有四万九千多个，近几年的新词还没包含进去）
cd data/lang
head -n 20 words.txt

在这里插入图片描述

  • topo：拓扑图,隐马尔可夫网络HMM
cd data/lang
vim topo

里面有两个HMM网络，一个是普通音素的，一个是静音音素的。
下图从2到218就是phone的id， 然后是HMM的三个跳转状态和一个输出状态。
1是静音音素的编号，可以看到有5个状态，
在这里插入图片描述

非静音跳转状态图：
在这里插入图片描述

特征提取

目前常见的两种特征。一般MFCC特征用于GMM训练，FBANK特征用于DNN训练。
在这里插入图片描述
MFCC和FBank特征提取原理：
在这里插入图片描述
在这里插入图片描述

先删除残留文件夹，新建两个目录，将训练集和测试集复制进去。
提取MFCC及FBank特征，并计算其均值和方差。
在这里插入图片描述

计算MFCC命令

. ./path.sh
compute-mfcc-feats

比如：参数1和2就是降采样和升采样。这些选项可以放到.conf配置文件里面。
在这里插入图片描述

生成如下目录：

cd data/mfcc/train
ls

在这里插入图片描述

查看MFCC:

. ./path.sh
cd data/mfcc/train/data
copy-feats ark:raw_mfcc_train.1.ark ark,t:train.1.ark.txt
vim train.1.ark.txt

行:帧数,一帧为一行
列:维度,MFCC特征默认13维

以A02_000音频为例：
在这里插入图片描述
然后看下均值方差，是按每个说话人提取的

. ./path.sh
cd data/mfcc/train/data
copy-feats ark:cmvn_train.ark ark,t:cmvn_train.ark.txt
copy-feats --binary=false ark:cmvn_train.ark ark:cmvn_train.ark.txtvim train.1.ark.txt

行:均值总和、方差总和
在这里插入图片描述

查看log：
kaldi的log非常全，索引对不上，采样不一致等问题都有。

cd data/mfcc/train/log/
vim make_mfcc_train.1.log

在这里插入图片描述

GMM训练

整体过程：
共有5大模块，可分为10小步。每两步一个模块。
1.先训练一个单音素模型；2.对齐
3.再训练一个三音素模型；4.对齐
5.用lda等算法重估GMM模型； 6.对齐
…

在这里插入图片描述

mono单音素模型训练

命令如下，

steps/train_mono.sh --boost-silence 1.25 --nj 10 --cmd
"run.pl" data/mfcc/train data/lang exp/mono

参数：
–boost-silence：静音音素权重设置，1.25 一般不用改
–nj 10：就是用10个线程（小于等于训练集中说话人数量）
run.pl：在本机跑

输入1： MFCC数据 （ data/mfcc/train）
输入2： lang （data/lang）
输出： 单音素模型（exp/mono）

具体流程：
在这里插入图片描述

  • 模型初始化：有GMM模型的均值、方差，和隐马尔可夫的转移矩阵。随机生成，其实也不是真正随机，用了训练集的部分特征。

  • 制作graph：需要输入上一步初始化的模型，lang文件中的L.fst，词表，以及训练集中的标注文本。生成结果是一个从句子到音素的fst压缩包，是训练集中每一个音频对应的文本标签生成的，一个文本标签生成一个fst。（句子-词-字-拼音-音素-HMM中的状态）

  • 等对齐：均匀对齐。现在要将MFCC特征和fst对应起来。
    黄色是MFCC特征，每条是一帧，一帧是13维。
    要与下面的fst对齐。（只画到音素级别）
    在这里插入图片描述
    什么是均匀对齐？就是假如现在是4个音素，对应100帧，那就平分，每个音素对100/4=25帧。统计这25帧的均值和方差，就是一个高斯模型了。
    后面还有三音素模型（考虑了协同发音）：
    在这里插入图片描述
    但存在一个问题：本来有两百多个音素，但考虑了前后协同发音，就成了200* 200* 200个了，这个数量太大了。
    解决办法：决策树聚类（将具有相近发音的音素归为一类，集中训练）

  • 模型重估：现在已经统计了全部数据的特征，也通过对齐知道了每帧对应的状态，以及每个状态的跳转概率。基于这些信息对模型进行重估。

  • 对齐信息：用重估后的统计量和前面的fst生成新的对齐信息。注意，此时不是均匀对齐了，此时过程可理解为一个模型对训练集的解码过程，把每帧特征放到每个状态对应的GMM里算概率，得到每个状态的后验概率，概率最大的音素作为这一帧对应的音素。
    此时可能第一个音素20帧，第二个音素28帧等等。

  • 统计计算：计算每个音素跳转的次数占全部跳转次数的比例。得到每个状态的跳转概率，又进行模型重估，重复该过程（重复次数可以自己设置，默认40次）。

跑完代码生成的东西：
在mono文件夹里
在这里插入图片描述
final.occs：简单理解为全局统计量，每个音素对应几个状态的信息
aligz：每迭代一次，对齐信息跟新一次
fst..gz：训练集中每条语音对应的文本信息（句子-词-字-拼音-音素-HMM中的状态）都在这里面

final模型查看

声学模型不能直接代开看，用kaldi自带的命令打开：

gmm-copy --binary=false final.mdl final.mdl.txt

在这里插入图片描述
1-23行是HMM的拓扑图。7-10行是音素编号为2-218的HMM，其状态有3个。16-21行是音素编号为1的HMM，其状态有5个，也就是静音音素。24行是决策树聚类数，656类。

为什么是656类呢？
在这里插入图片描述
左图：25-29行是中间一列0-4(静音)，剩下的都是0，1，2。
右图：第一列共218个音素，第二列状态，第三列决策树聚类数。

静音是5个状态，剩下都是3状态：217* 3+5=656，说明把每个状态都分成了一类。

后面还有如下信息：
在这里插入图片描述
MFCC维度39：因为作了一阶二阶差分（13+13+13）
Weigh两个：说明是两个单高斯组成的GMM
均值39列，方差39列

GCONSTS的超参是什么呢？

W权重，后面是标准的高斯。取出了与x无关的项，提前计算好，这样后面就可以减少计算量。
在这里插入图片描述

final.occs查看

show-transitions phones.txt final.mdl final.occs > final.occs.txt

对每个HMM的描述
在这里插入图片描述
以前5行为例，描述状态1到1（自环），2，3，4的过程。
在这里插入图片描述
提特征按帧级别提的，
训练也是按帧级别训练的，
训练的结果是什么？

对齐信息查看

. ./path.sh
ali-to-phones

里面是每个phone的对齐信息
在这里插入图片描述
每个phone-id对应的音素是什么？

cd exp/mono
gunzip -c ali.1.gz | ali-to-phones --per-frame=true final.mdl ark:- ark,t:- | ../../utils/int2sym.pl -f 2- phones.txt

每帧特征对应的音素，
在这里插入图片描述
每个音素持续的时间是多久？

gunzip -c ali.1.gz | ali-to-phones --ctm-output=true final.mdl ark:- -| ../../utils/int2sym.pl -f 5 phones.txt

以A02_000为例：

文本内容：
绿 是 阳春 烟 景 大块 文章 的 底色 四月 的 林 峦 更是 绿 得 鲜活 秀媚 诗意 盎然
在这里插入图片描述
比如：前0.87s都是静音段，绿这个字lv4，从0.87s到0.1s，持续了0.1+0.2s=0.3s。可以用音频播放软件看看对的准不准。

网格信息查看

cd exp/mono
gunzip fsts.1.gz
fstcopy ark:fsts.1 ark,t:fsts.1.txt

存的词、字、音素、状态之间的映射关系，跳转关系
在这里插入图片描述

决策树

cd exp/mono
tree-info tree

里面有三行信息：
在这里插入图片描述
context-width：单音素模型就是1，三音素就是3
central-position：单音素就是0，三音素就是1（0，1，2,看到1就是中间位置）

画出决策树：

cd exp/mono
draw-tree phones.txt tree | dot -Gsize=8,10.5 -Tps | ps2pdf - tree.pdf

在这里插入图片描述
静音的HMM有5个状态，其他都是3个。

log分析:

用于检查错误
在这里插入图片描述
init.log：模型初始化时产生的
compile.log：fst时产生的
align.log：对齐时产生的

这样，就完成了下图流程中的第1，2，3步。
在这里插入图片描述
同样的方法，进行第4步：

训练aligh_si.sh

steps/align_si.sh --boost-silence 1.25 --nj 10 --cmd "run.pl"
data/mfcc/train data/lang exp/mono exp/mono_ali

此时：
在这里插入图片描述
查看mono_ali.sh生成内容：

cd mono_ali
gunzip -c ali.1.gz | ali-to-phones --ctm-output=true final.mdl
ark:- -| ../../utils/int2sym.pl -f 5 phones.txt

在这里插入图片描述
对齐信息和之前一样，说明单音素模型迭代没有效果，就这样了，需要新的算法来提升模型对齐能力。

GMM训练-对比mono_ali、 tri4b_ali对齐信息
A02_000文本：
绿 是 阳春 烟 景 大块 文章 的 底色 四月 的 林 峦 更
mono tri4b 是 绿 得 鲜活 秀媚 诗意 盎然

mono_ali: sox A2_0.wav part.wav trim 0.87 0.3

tri4b_ali : sox A2_0.wav part.wav trim 0.86 0.29

在这里插入图片描述
此时对齐的时间不一样了。

BarbaraChow
关注
专栏目录
自然语言处理之语音识别：Kaldi：语音识别系统评估与分析
zhubeibei168的博客
10-21 751
Kaldi是一个开源的语音识别工具包，由华盛顿大学的Daniel Povey等人开发。它使用C++编写，具有高性能和灵活性，广泛应用于学术研究和工业界。Kaldi支持多种声学模型，包括GMM-HMM、DNN-HMM和RNN-HMM，以及多种语言模型，如N-gram和RNN语言模型。其核心组件包括特征提取、模型训练、解码和评估，这些组件通过一系列脚本和工具紧密集成，形成了一个完整的语音识别系统。
【Kaldi例子】Kaldi经典声学建模
qq_39573785的博客
01-12 3494
基本概念 在经典语音识别框架中，一个声学模型就是一组HMM。对于语音识别框架中的声学模型中的每个HMM，都定义该HMM中有多少个状态，以及以各个状态起始的马尔可夫链的初始概率、个状态间的转移概率和每个状态的概率分布函数。 在语音识别实践中，一般令初始概率恒为1，把状态间的转移概率预设为固定值，不在训练过程中更新状态转移概率。声学模型包含的信息主要是状态定义和各状态的观察概率分布。如果使用高斯混合模型对观察概率分布建模，那就是GMM-HMM模型，如果用神经网络模型对观察概率分布建模，那就是NN-HMM。 HM
语音识别基本原理介绍--gmm-hmm中训练的完整版
热门推荐
u010384318的专栏
09-02 2万+
看了几天了，结合之前看kaldi里的训练，现在我觉得可以wanqua
GMM，HMM的语音识别，说话人识别源码
05-10
该压缩包中包含一个完整的语音识别程序，代码使用matlab实现，使用了经典的GMM，HMM模型。附件中还包含完整的说明文档，介绍了一些基本原理，和该源码的使用方法。是语音识别入门必读源码之一。该源码只需要很小的改动就可以用来做说话人识别。 ：}
GMM-HMM kaldi 详解
Xwei1226的博客
04-09 3295
虽然现在端到端语音识别模型可以直接对后验概率建模，可以不需要HMM结构了。但实际上目前很多state-of-the-art模型还是以HMM结构为主，比如chain model。而且掌握HMM-GMM结构，对于深入理解语音识别过程是由有一定好处的。 但对于外行(比如像我这种从机械行业转行到语音识别领域的人)或者刚接触语音识别的人来说，要弄懂HMM-GMM结构还是要花不少时间的，因为语音识别任务的特殊...
kaldi HMM-GMM 全部训练脚本分解
dahunihao的博客
11-08 634
原文： https://blog.csdn.net/chinatelecom08/article/details/81875547 ##train_mono.sh 单音素训练脚本： //初始化，[topo feats] -> [0.mdl tree] gmm-init-mono //生成训练图，[0.mdl text l.fst] -> [train.fst] compile-...
kaldi_GMM/HMM/EM_HCLG
weixin_42035898的博客
01-13 283
pdf:概率密度函数 GMMHMM和HCLGGMMGMM + HMMHCLG.fst 语音识别中隐变量是音素，观测变量是MFCC特征 GMM GMM:聚类，提前知道k的类别个数，总和为1，可指定GMM分布中高斯函数个数（5），rnk：样本指示点样本对应的标签值 EM E 根据指示值，计算根据定义的样本均值（数值）协方差矩阵（39维），求出周围样本属于该标准样本的概率 M 根据当前样本帧分布情况，求出样本区域中的均值和协方差矩阵和Πk EM:参数空间理解EM GMM + HMM 一
语音识别入门第五节：基于GMM-HMM的语音识别系统（实战篇）
小小莫大大爱的博客
07-28 1162
语音识别入门第五节：基于GMM-HMM的语音识别系统（实战篇）
gmm-hmm-asr:简单GMM和HMM模型的Python实现，用于隔离数字识别
05-23
用于隔离数字识别的简单GMM-HMM模型 简单的GMM和HMM模型的Python实现，用于隔离数字识别。 此实现包含3个模型： 单一高斯：使用具有对角协方差的单一高斯对每个数字进行建模。...cd gmm-hmm-asr && pip ins
kaldi-master.zip_GMM-HMM_HMM GMM_Kaldi-master-_balanceecd_yeth82
09-24
《Kaldi：GMM-HMM与HMM-GMM在语音识别中的应用》 Kaldi，一个由Daniel Povey领导的开源项目，是当今语音识别领域广泛应用的工具包。其核心在于提供了一套完整的框架，支持多种语音识别模型的训练和评估，包括经典的...
Kaldi单音素GMM学习笔记
04-08
Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。
Kaldi三音素GMM学习笔记
04-13
在这个笔记中，我会首先介绍表示HMM的类HmmTopology和TransitionModel，然后介绍三音素GMM训练脚本train_deltas.sh用到的几个程序，这几个程序与单音素GMM的不同或者只在三音素GMM训练中出现。与GMM相关的其余部分请参考单音素GMM学习笔记。
语音识别的算法实现C++
03-01
语音识别 算法 C++ MFCC HMM, 是自学者的好教材，VC下编译通过...
CSLU_KALDI:使用 kaldi 进行语音识别-开源
05-29
它支持多种声学模型（如 GMM-HMM 和 DNN-HMM）和语言模型，适用于大规模的语音识别任务。Kaldi 提供了一个命令行界面，使得用户可以通过简单的脚本完成复杂的语音识别流程。 2. **语料库适应** 在使用 Kaldi 进行...
自然语言处理之语音识别：Kaldi：深度学习在Kaldi中的实践
最新发布
zhubeibei168的博客
10-21 884
通过上述内容，我们了解了DNN-HMM模型在Kaldi中的应用，包括模型训练流程、优化技术（如正则化和Dropout）以及DNN与GMM-HMM模型的融合方法。这些技术的结合使用，可以显著提高语音识别系统的性能和效率。请注意，上述总结部分是应您的要求而省略的，但在实际教程中，总结部分可以帮助读者回顾和巩固所学知识，因此在正式文档中应保留。
[转]kaldi基于GMM做分类问题
aig8440的博客
09-21 200
转自：http://blog.csdn.net/zjm750617105/article/details/55211992 对于每个类别的GMM有几种思路：第一是将所有训练数据按类别分开，每类的数据训练一个GMM模型第二是将所有的数据训练一个UBM模型，然后将训练数据按类别分开，用MAP去训练每个类别的GMM（对角UBM的MAP貌似kaldi 没有）第三就是将所有的数据训练一个U...
不用框架，实现非连续语音识别Demo(python源码)
小黑的专栏
06-13 1万+
GMM-HMM语音识别原理1.HMM隐马尔科夫模型(HMM)是一种统计模型，用来描述含有隐含参数的马尔科夫过程。难点是从隐含状态确定出马尔科夫过程的参数，以此作进一步的分析。下图是一个三个状态的隐马尔可夫模型状态转移图，其中x 表示隐含状态，y 表示可观察的输出，a 表示状态转换概率，b 表示输出概率:a：转移概率b：输出概率y：观测状态x：隐含状态一个HMM模型是一个五元组(π，A...
kaldi做语音识别
m0_56321289的博客
03-04 1958
kaldi是一个开源的语音识别工具箱，是基于c++、perl、shell编写的，可以在windows和unix 平台上编译。教程网页：http://www.kaldi-asr.org/doc/ 里面可以查阅语音/说话人识别实现过程、kaldi的数据结构、命令的使用说明等。还有网上的dan的ppt。kaldi下载：https://
Kaldi语音识别技术
IT菜鸟
10-22 2735
Kaldi是当前最流行的开源语音识别工具（Toolkit），旨在提供灵活且可扩展的组件，包括多种语音信号处理，语音识别，声纹识别和深度神经网络。Kaldi使用WFST来实现解码算法，主要由C++编写，在此之上使用bash和Python脚本做了一些工具。而实时识别系统的好坏，取决于语音识别的性能，语音识别包含“特征提取、声学模型、语言模型、解码器”等部分。Kaldi工具箱集成了几乎所有搭建语音识别器需要用到的工具。Kaldi支持GPU进行训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值