语言处理 之 xvector

厦门大学智能语音实验室(XMUSPEECH)提供了基于Kaldi和Pytorch两个开源平台的基线系统：基于Kaldi的i-vector系统和x-vector系统，基于Pytorch的x-vector系统。

厦门大学智能语音实验室同时开源了ASV-Subtools工具，ASV-Subtools工具相比于其他开源工具的优势在于其整合了Pytorch的训练和Kaldi的前端后端处理，可用于声纹识别系统的搭建。

1、先将数据采样率降到16k

写了一个脚本，可以了

2、准备要提取数据的wav.scp、utt2spk、spk2utt。

spk2utt 是说话人id（记作spkid）和说话人语音名称（uttid）的对应关系，通常来讲，一个说话人会有很多条语音，文件中的格式为，spkid uttid1 uttid2...，每一行有且只有一个说话人id。

例如 zws wav1 wav2 wav3...

需要注意的是，每一行的uttid顺序需要按照sort命令的排序模式来排，以及spkid也需要按照排序命令sort的模式来排。否则kaldi脚本在进行validate_data_dir.sh的时候报错。

utt2spk 是单个语音名称uttid和说话人的对应，很明显每行都是一一对应关系。例如 wav1 zws

utt2spk也可以由kaldi自带脚本和spk2utt生成，也可以由自己写脚本完成

wav.scp 是语音名称uttid和其完整路径的对应，也是每行一个音频。

wav1 /home/beibei/data1/zws_subtools/test1.wav

如果需要训练性别有关的模型，还需要加入spk2gender的文本文件，但显然用不到了

搞定

这个需要自己搞

3、提取fbank_41，fbank是类似于mfcc的特征

bash subtools/makeFeatures.sh data/fbank_41/aishell3/enroll fbank conf/fbank_41_16k.conf

这个东西，我安装不了。。。说不定还真的需要自己安装！因为python环境不一样啊。。。自己造吧。。。

说实话你要造一个完全没问题的Ubuntu。。。

4、做vad

subtools/computeVad.sh data/fbank_41/aishell3/enroll conf/vad-5.0.conf

说实话这里有大问题

5、提取一下512维xvector

bash run_train_my.sh

6、降维

bash scoreSets_lad.sh

这里可能还需要用加噪的数据训练plda打分

7、转成txt文件

copy-vector ark:exp/ftdnn_xv_train_4kh_aug_warmR_fbank_41_16k_pytorch/far_epoch_18/all/xvector_lda256.ark ark,t:- > exp/ftdnn_xv_train_4kh_aug_warmR_fbank_41_16k_pytorch/far_epoch_18/all/xvector_256_18.txt

8、每个矩阵放一个文件

python write_xvector.py exp/ftdnn_xv_train_4kh_aug_warmR_fbank_41_16k_pytorch/far_epoch_18/all/xvector_256_18.txt exp/ftdnn_xv_train_4kh_aug_warmR_fbank_41_16k_pytorch/far_epoch_18/all/xvector_256_18/

就差最后的转成txt文件了卧槽。搞不定。。。

这还真TM的慢啊。。。

肝不动啊，看来用512的了，但是就一个512啊，不赖啊。。。就算有speaker_id也没有任何关系了。

 1. 用aishell3 训练的模型 提取的 128 维 xv  /tsdata/cyx/aishell3_xv/128/xvector_128_21
2. 用大量中文数据库提取的 512 维xv  /tsdata/cyx/aishell3_xv/512 
5. 用大量中文数据库提取的 256维xv  /tsdata/cyx/aishell3_xv/256/xvector_256_18
3. 用大量中文数据库提取的 128维xv /tsdata/cyx/aishell3_xv/128/xvector_128_18
4.  用大量中文数据库提取的 512 维xv （同2）

那老师的也能用了。。。

卧槽不一样。。。只能说，emmmm，没办法了，只能重新训练了。那个aishell的embed是谁提取出来的？可能一开始就有吧。。。

虽然不一样，但是加进去看看行不行啊。。。但是decode没办法啊，人家都把内存用完了。。。

今晚三个工作，做完训练fs2的准备工作 7-8

那绝对没问题了，接下来修改代码。分为fs，fs2和config，conf没变啊。。。没变就没变呗。准备完毕了，就等着训练了。512大数据的。

那个新melgan效果真是惊人，/data/OB/TensorFlowTTS-master-new/TensorflowTTS-work/examples/melgan/exp/melgan_16k_new_config/predictions/

/data/OB/TensorFlowTTS-master-new/TensorflowTTS-work/examples/melgan/exp/melgan_16k_new_config/checkpoints/

/data/OB/TensorFlowTTS-master-new/TensorflowTTS-work/examples/melgan/conf/

再训练几天，就真的太强大了。后面的噪音是我固定的，这个可以改。melgan的停了？怎么停了呢？

并不见得那么好哈，念的太快了。而且后面有电音啊。。。这个有待观察。

移植subtools 8-9

注意在fbank的conf中，帧长为25，这个需要注意。

在370行，为什么需要三层结构，啊，因为这里确定的。不好起名字，而且好像还没模型。

它这个为啥这么慢呢？它这个容易卡住啊？

没有那玩意会重新训练的。。。看来自己改不动啊。。。

整体移植吧。。。

一个zcvf，一个zxvf，没问题的

啊？明白了，路径不对！你知道有多少绝对路径啊。。。

Syntax error: Bad for loop variable

从 ubuntu 6.10 开始，ubuntu 就将先前默认的bash shell 更换成了dash shell；其表现为 /bin/sh 链接倒了/bin/dash而不是传统的/bin/bash。

卧槽重新命个名都不可以吗？

成功了一次！我认为这个绝对路径是kaldi自己造的。。。卡住了。。。

成功了卧槽。

修改论文 9-