kaldi入门详解——aishell步骤解释

最新推荐文章于 2024-04-28 12:33:30 发布
最新推荐文章于 2024-04-28 12:33:30 发布
阅读量2.6w 收藏 128
点赞数 22
分类专栏： kaldi 文章标签： 语音识别 ASR kaldi aishell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eqiang8848/article/details/81543599
版权

kaildi讲解

kaldi是一个开源的语音识别工具箱，是基于c++、perl、shell编写的，可以在windows和unix 平台上编译。

教程网页：http://www.kaldi-asr.org/doc/ 里面可以查阅语音/说话人识别实现过程、kaldi的数据结构、命令的使用说明等。还有网上的dan的ppt。

kaldi下载：https://github.com/kaldi-asr/kaldi。

语音识别基础知识快速入门

英文：《Speech and Language Processing》第9、10章。

中文入门方式可以看《语音信号处理》韩纪庆（编）的语音识别章节；或者《模式分类》这本书的部分章节。

kaldi安装

简要说明：（运行环境centos7、ubuntu16.4、macos 10.13都能安装成功）
0. 安装前你需要对你的 linux 进行配置，需要安装的软件apt-get、subversion、automake、autoconf、libtool、g++、zlib、libatal、wget，如何安装见《kaldi的全部资料_v0.7(未完成版本).pdf》。

  1. git clone https://github.com/kaldi-asr/kaldi.git 选择某个路径，下载kaldi。

  2. 在命令行cd到kaldi路径下，cd到tool目录下，在命令行分别输入:

    make -j nproc

    extras/install_irstlm.sh

install_irstlm.sh是安装语言模型。
3. make 完后，在src目录下:在命令行分别输入：

./configure

make depend

make

make阶段是编译阶段，将下载的包编译为可执行文件，耗时较长，耐心等待。

ubuntu安装遇到问题最少，centos和macos上安装都会出现一些问题，得手动解决。

遇到过的error和解决方法：

  1. make过程中，openfst-1.6.7.tar.gz没有解压完全，因此自动又解压一遍，生成openfst-1.6.7.tar.gz.1，因此要把原openfst-1.6.7.tar.gz删掉（rm openfst-1.6.7.tar.gz），openfst-1.6.7.tar.gz.1重命名为openfst-1.6.7.tar.gz（mv openfst-1.6.7.tar.gz.1 openfst-1.6.7.tar.gz）。再次make（不需要手动解压）。

  2. sudo make仍出现permission denied造成error。把文件夹的用户改成使用者。比如我的用户名叫work，chown -R work kaldi。

  3. 如果多次make都遇到error，建议先make clean把编译过的全删掉，再重新装。

kaldi各文件解释

  • /egs：不同语料例子的执行脚本文件
  • /tools：存放asr过程中用到的库
  • /src：存放实际执行的c++算法

以aishell为例的ASR过程

命令行到kaldi路径下，输入

cd egs/aishell/s5

首先改cmd的配置：

vim cmd.sh

改为：

export train_cmd="run.pl"         #"queue.pl --mem 2G"
export decode_cmd="run.pl --mem 4G"    #"queue.pl --mem 4G"
export mkgraph_cmd="run.pl --mem 8G"   #"queue.pl --mem 8G"
export cuda_cmd="run.pl --gpu 1"

原文件的queue是基于集群的，这里我们用本机/服务器跑，因此改为run.sh。

:wq保存后，输入：

vim run.sh

看见data=/export/a05/xna/data改成想存放语料的路径。之后输入

 bash ./run.sh

就开始进行asr过程了。强烈建议逐行运行，运行当前行时，把其他暂时注释调，这样清楚看见每个阶段的过程。

过程简单说来就是：

  • 语料数据准备 下载语料库到本地/服务器的文件夹
  • 数据关系，词典、语言文件（text, wav.scp, utt2pk, spk2utt）准备，训练集、测试集、验证集准备
  • 单音素（或者其他模型）训练和解码
  • 构建解码图
  • 解码查看结果

run.sh详细解释：

这里是简单的介绍，具体细节可以参考kaldi入门详解 aishell2步骤解释（二）

vim run.sh

查看run.sh脚本，这里逐行解释：

下载并解压aishell 178小时语料库，（音频和lexicon词典）：
local/download_and_untar.sh $data $data_url data_aishell || exit 1;
local/download_and_untar.sh $data $data_url resource_aishell || exit 1;
准备词典：
local/aishell_prepare_dict.sh $data/resource_aishell || exit 1;
准备数据。分成test、dev、train集。：
local/aishell_data_prep.sh $data/data_aishell/wav $data/data_aishell/transcript || exit 1;
词典、语言文件准备，生成对应的数据关系：
Phone Sets, questions, L compilation
utils/prepare_lang.sh --position-dependent-phones false data/local/dict \
    "<SPOKEN_NOISE>" data/local/lang data/lang || exit 1;

其中，数据关系保存在/data里，文件解释如下：

  • spk2gender 包含说话人的性别信息
  • spk2utt 包含说话人编号和说话人的语音编号的信息
  • text 包含语音和语音编号之间的关系
  • utt2spk 语音编号和说话人编号之间的关系
  • wav.scp 包含了原始语音的路径信息等
提取MFCC特征：
# Now make MFCC plus pitch features.
# mfccdir should be some place with a largish disk where you
# want to store MFCC features.
mfccdir=mfcc
for x in train dev test; do
  steps/make_mfcc_pitch.sh --cmd "$train_cmd" --nj 10 data/$x exp/make_mfcc/$x $mfccdir || exit 1;
  steps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x $mfccdir || exit 1;
  utils/fix_data_dir.sh data/$x || exit 1;
done

分为两步，先通过steps/make_mfcc.sh提取MFCC特征，再通过steps/compute_cmvn_stats.sh计算倒谱均值和方差归一化。

生成了两个文件夹：mfcc 和 exp/make_mfcc，其中 mfcc 里主要保存了提取的特征，而 exp/make_mfcc 里保存了日志，即 .log 文件。

在 steps/make_mfcc.sh 里用到的最主要的命令就是 compute-mfcc-feats 和 copy-feats，其在 src 里编译好的。

mfcc 目录里主要是 .ark 和 .scp 文件，其中 .scp 文件里的内容是语音段和特征对应，而真正的特征保存在 .ark 文件里。用下面的命令可以看清楚

copy-feats ark:mfcc/raw_mfcc_train.1.ark ark,t:-
单音素训练：
steps/train_mono.sh --cmd "$train_cmd" --nj 10 \
    data/train data/lang exp/mono || exit 1;

之后会在 exp 文件夹下产生一个 mono 的目录，里面以 .mdl 结尾的就保存了模型的参数。使用下面的命令可以查看模型的内容。

$ gmm-copy --binary=false exp/mono/0.mdl - | less
构建单音素解码图：
# Monophone decoding
utils/mkgraph.sh data/lang_test exp/mono exp/mono/graph || exit 1;

mkgraph.sh主要生成了HCLG.fst和words.txt这两个重要的文件，后续识别主要利用了三个文件，分别是final.mdl、HCLG.fst、words.txt。

解码：分别针对开发集和测试集解码
steps/decode.sh --cmd "$decode_cmd" --config conf/decode.config --nj 10 \
  exp/mono/graph data/dev exp/mono/decode_dev
steps/decode.sh --cmd "$decode_cmd" --config conf/decode.config --nj 10 \
  exp/mono/graph data/test exp/mono/decode_test

解码的日志会保存在 exp/mono/decode_dev/log 和 exp/mono/decode_test/log 里。

Veterbi 对齐
# Get alignments from monophone system.
steps/align_si.sh --cmd "$train_cmd" --nj 10 \
  data/train data/lang exp/mono exp/mono_ali || exit 1;

之后就是和训练单音素一样，进行其他模型的训练解码，生成声学模型和语言模型，保存在/exp中。

查看结果：

输入下面的命令来查看结果

# getting results (see RESULTS file)
for x in exp/*/decode_test; do [ -d $x ] && grep WER $x/cer_* | utils/best_wer.sh; done 2>/dev/null

总结：aishell的/s5/run.sh文件运行了gmm+hmm hybrid模型以及dnn+hmm hybrid模型。

  • 首先用标准的13维MFCC加上一阶和二阶导数训练单音素GMM系统，采用倒谱均值归一化（CMN）来降低通道效应。然后基于具有由LDA和MLLT变换的特征的单音系统构造三音GMM系统，最后的GMM系统用于为随后的DNN训练生成状态对齐。
  • 基于GMM系统提供的对齐来训练DNN系统，特征是40维FBank，并且相邻的帧由11帧窗口（每侧5个窗口）连接。连接的特征被LDA转换，其中维度降低到200。然后应用全局均值和方差归一化以获得DNN输入。DNN架构由4个隐藏层组成，每个层由1200个单元组成，输出层由3386个单元组成。 基线DNN模型用交叉熵的标准训练。 使用随机梯度下降（SGD）算法来执行优化。 将迷你批量大小设定为256，初始学习率设定为0.008。
  • 被噪声干扰的语音可以使用基于深度自动编码器（DAE）的噪声消除方法。DAE是自动编码器（AE）的一种特殊实现，通过在模型训练中对输入特征引入随机破坏。已经表明，该模型学习低维度特征的能力非常强大，并且可以用于恢复被噪声破坏的信号。在实践中，DAE被用作前端管道的特定组件。输入是11维Fbank特征（在均值归一化之后），输出是对应于中心帧的噪声消除特征。然后对输出进行LDA变换，提取全局标准化的常规Fbank特征，然后送到DNN声学模型（用纯净语音进行训练）。
  1. train_mono.sh 用来训练单音子隐马尔科夫模型，一共进行40次迭代，每两次迭代进行一次对齐操作
  2. train_deltas.sh 用来训练与上下文相关的三音子模型
  3. train_lda_mllt.sh 用来进行线性判别分析和最大似然线性转换
  4. train_sat.sh 用来训练发音人自适应，基于特征空间最大似然线性回归
  5. nnet3/run_dnn.sh 用nnet3来训练DNN，包括xent和MPE
  6. 用chain训练DNN

结果

aishell训练模型的词错误率wer和字错误率cer如下：

%WER 44.23 [ 28499 / 64428, 1821 ins, 4610 del, 22068 sub ] exp/mono/decode_test/wer_13_0.0
%WER 29.67 [ 19113 / 64428, 1567 ins, 2934 del, 14612 sub ] exp/tri1/decode_test/wer_14_0.5
%WER 29.24 [ 18841 / 64428, 1557 ins, 2813 del, 14471 sub ] exp/tri2/decode_test/wer_15_0.5
%WER 27.38 [ 17640 / 64428, 1764 ins, 2267 del, 13609 sub ] exp/tri3a/decode_test/wer_16_0.0
%WER 23.44 [ 15102 / 64428, 1468 ins, 2110 del, 11524 sub ] exp/tri4a/decode_test/wer_15_0.5
%WER 21.76 [ 14017 / 64428, 1383 ins, 1954 del, 10680 sub ] exp/tri5a/decode_test/wer_16_0.5
%WER 17.43 [ 11233 / 64428, 1077 ins, 1675 del, 8481 sub ] exp/nnet3/tdnn_sp/decode_test/wer_16_0.5
%WER 15.96 [ 10281 / 64428, 919 ins, 1672 del, 7690 sub ] exp/chain/tdnn_1a_sp/decode_test/wer_12_0.5

%CER 34.13 [ 35757 / 104765, 783 ins, 3765 del, 31209 sub ] exp/mono/decode_test/cer_11_0.0
%CER 19.56 [ 20496 / 104765, 910 ins, 1436 del, 18150 sub ] exp/tri1/decode_test/cer_13_0.5
%CER 19.16 [ 20073 / 104765, 989 ins, 1211 del, 17873 sub ] exp/tri2/decode_test/cer_13_0.5
%CER 17.24 [ 18060 / 104765, 780 ins, 1024 del, 16256 sub ] exp/tri3a/decode_test/cer_13_0.5
%CER 13.58 [ 14227 / 104765, 640 ins, 716 del, 12871 sub ] exp/tri4a/decode_test/cer_14_0.5
%CER 12.22 [ 12803 / 104765, 668 ins, 565 del, 11570 sub ] exp/tri5a/decode_test/cer_14_0.5
%CER 8.44 [ 8838 / 104765, 331 ins, 510 del, 7997 sub ] exp/nnet3/tdnn_sp/decode_test/cer_14_0.5
%CER 7.37 [ 7722 / 104765, 303 ins, 581 del, 6838 sub ] exp/chain/tdnn_1a_sp/decode_test/cer_11_1.0

参考资料：
1.解读thchs30/s5/run.sh的主要步骤：https://blog.csdn.net/BBZZ2/article/details/72884979
2.kaldi的语音识别数据timit例子详解：https://blog.csdn.net/DanyHgc/article/details/75222517

ferb2015
关注
  • 22
    点赞
  • 踩
  • 128
    收藏
    觉得还不错? 一键收藏
  • 36
    评论
专栏目录
Kaldi中aishell语料训练结果（kaldi_aishell_exp.txt）
07-22
包含mono、tri1、tri2、tri3a、tri4a、tri5a已训练好的mdl、fst等文件，不包含dnn训练结果
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.01.20-2024.01.31
小小帅
02-21 1126
文档分析和摘要等需要大上下文窗口的应用越来越多地使用 LLM，而在这些大上下文窗口中，KV 缓存激活是推理过程中内存消耗的主要原因。量化是压缩 KV 缓存激活的一种有前途的方法；然而，现有的解决方案无法在超低精度（如亚 4 位）下准确表示激活。在这项工作中，我们提出了 KVQuant，通过采用新方法对缓存 KV 激活进行量化来解决这一问题，其中包括(i) 每通道密钥量化，我们调整量化密钥激活的维度，以更好地匹配分布；
端到端语音识别的espnet在cpu上aishell预训练模型中文语音配置跑通
建模分析师胡选来
12-24 2391
#系统环境 ubuntu 20.04 lts, 系统安装的python3默认为python3.8 #安装环境： sudo apt update sudo apt-get install python3 cmake sox libsndfile1-dev ffmpeg flac -y curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python3 get-pip.py git clone https://github.com/espnet/es
kaldi做语音识别
m0_56321289的博客
03-04 1043
kaldi是一个开源的语音识别工具箱，是基于c++、perl、shell编写的，可以在windows和unix 平台上编译。教程网页：http://www.kaldi-asr.org/doc/ 里面可以查阅语音/说话人识别实现过程、kaldi的数据结构、命令的使用说明等。还有网上的dan的ppt。kaldi下载：https://
几乎最全的中文NLP资源库
热门推荐
ningyanggege的博客
05-12 2万+
NLP民工的乐园 The Most Powerful NLP-Weapon Arsenal NLP民工的乐园: 几乎最全的中文NLP资源库 词库 工具包 学习资料 在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。 很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star，谢谢！ 长期不定时更新，欢迎watch和fork！ 涉及内容包括但不限于：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取...
NLP 民工的乐园
somenzz的博客
09-25 7725
今天在 GitHub 上看到一个非常受欢迎的仓库，33.7K。https://github.com/fighting41love/funNLP它几乎最全的中文 NLP 资源库，很多包非常有...
AISHELL -1数据集等语音数据集介绍
scut_salmon的博客
05-29 1万+
1. AISHELL数据集 总共178小时，400个人讲，其中训练集340个人，测试解20个人，验证集40个人，每个人大概讲三百多句话，每个人讲的话都放在一个文件夹里面。 AISHELL-2结构类似（1000个小时），不过总共1991人讲，每个人有500句话，每个人讲的话可能会有重复。 2. thchs-30数据集 thchs-30是清华大学公布的超过三十个小时的数据集，选取1000句...
Kaldi 开头运行的两个文件 cmd.sh path.sh
Z99999888的博客
09-16 1082
目录 cmd.sh： Path.sh：　　 Run.sh: 参考 cmd.sh： 可以很清楚的看到有 3 个分类分别对应 a，b，c。a 和 b 都是集群上去运行这个样子， c 就是我们需要的。我们在虚拟机上运行的。你需要修改这个脚本 # "queue.pl...
从说话人识别demo开始学习kaldi--（3）aishell_data_prep.sh
Grace_yan的博客
10-30 1207
#!/bin/bash # Copyright 2017 Xingyu Na # Apache 2.0 . ./path.sh || exit 1; .<<EOF 类似python中的import，第一个点表示引用文件， 第二个点表示在当前目录下找，两个点中间一定要有空格 双竖线‘||’，用双竖线‘||’分割多条命令，执行的时候遵循如下规则，如果前一条命令为真，则后面的命令不会执行...
Shell-AI：基于LLM实现自然语言理解的CLI工具
FrenzyTechAI的博客
09-02 560
随着AI技术的普及，部分技术领域的门槛逐步降低，比如非科班出身，非技术专业，甚至从未涉足技术领域，完全不懂服务器部署和运维，如今可以依托AI大模型非常轻松的掌握和使用相关技术，来解决一些实际问题。比如在不同的操作系统中总会避免不了需要接触和使用CLI命令行界面，许多任务都需要使用命令行界面进行操作。而对于非技术专业人员来说，在完全没有学习Linux或Shell脚本命令的情况下可能会非常困难，甚至在没基础的情况下现学也会遇到很多问题，止步不前。为了解决这个问题，我们今天介绍一个名为Shell-AI。
【kaldi】运行aishell脚本解析
u011590738的博客
06-27 471
local/aishell_prepare_dict.sh $data/resource_aishell生成data/local/dict目录下的内容 extra_questions.txt lexiconp.txt lexicon.txt nonsilence_phones.txt optional_silence.txt silence_phones.txtextra_questions.txt:用来构建决策树的问题集，可以是空的，包含多组相同的音素，每一组音素包含相同的重音或者声调；lexi
kaldi入门资料整理
03-01
kaldi入门资料整理，非常全面，资源是下载别人的，用来参考
AISHELL-1-sample数据集
10-31
包括 AISHELL-1_sample数据集 和词典
kaldi 手把手教学，快速的进行语音识别入门开发
10-29
快速的进行语音识别入门开发
莫愁前路无网络，离线语音正待君——Kaldi篇
01-03
果然，邂逅了两位梦中情人——Pocketsphinx和Kaldi。 作为老资格的Pocketsphinx已经被后生Kaldi拍在沙滩上，但还是对Pocketsphinx做了一番实践(详情可在小生的博客中浏览)。最后，还是选择使用Kaldi，较于前者，...
利用STM32实现语音识别功能
2401_84204806的博客
04-28 1884
通过本教程，我们不仅能够了解如何在STM32平台上部署语音识别功能，还能掌握必要的优化技术，以确保系统的高效运行和良好用户体验。STM32微控制器具备处理高效率语音识别算法的能力，使其成为实现低成本、低功耗语音交互系统的理想选择。：在可穿戴设备中集成语音识别功能，允许用户通过语音指令进行交互，提高设备的易用性和功能性。随着技术的进步和应用的扩展，STM32微控制器在嵌入式语音识别领域的应用前景将越来越广阔。随着物联网和智能设备的普及，语音识别技术正逐渐成为用户交互的主流方式之一。
语音识别的基本概念
jasonhongcn的专栏
04-28 1422
它定义了哪个单词可以跟在先前识别的单词之后（请记住，匹配是一个顺序过程），并通过剥离不可能的单词来帮助显着限制匹配过程。出于计算目的，检测三音素的部分而不是整个三音素很有帮助，例如，如果您想为三音素的开头创建一个检测器并在许多三音素之间共享它。例如，单词“bad”中带有左音素“b”和右音素“d”的“u”听起来与单词中带有左音素“b”和右音素“n”的同一个音素“u”听起来有点不同。实际上，对于 senone 的音频模型，它是三个状态的高斯混合 - 简而言之，它是最可能的特征向量。不幸的是，现实却大不相同。
infrared-remote-candroid studiodemo
最新发布
05-05
android studio下载
conda kaldi
09-20
conda kaldi是一个使用conda来安装和管理Kaldi语音识别工具包的方法。你可以按照以下步骤来安装和配置conda kaldi： 1. 首先，创建一个名为kaldi365的conda环境，并安装Python版本为3.6.5： ``` conda create -n kaldi365 python=3.6.5 ``` 2. 激活kaldi365环境： ``` conda activate kaldi365 ``` 3. 进入你的Kaldi项目目录，例如： ``` cd /home/zhijian/project/python/kaldi-master/tools ``` 4. 安装所需的Python库： ``` pip install -r requirements.txt ``` 5. 使用conda安装pykaldi（如果需要使用GPU，请使用适合的conda安装命令）： ``` conda install -c pykaldi pykaldi ``` 完成以上步骤后，你就成功地使用conda安装和配置了kaldi。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 36
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值