个性化语音——总结_个性语音样式-CSDN博客

本文链接：https://blog.csdn.net/sunflower_Yolanda/article/details/51979551

时间 2016.5.4~2016.7.20
成果：
- 基于Voice Conversion的demo：VC demo百度网盘分享
- 基于TTS adaption的demo：TTS adaption demo百度网盘分享
- TTS demo：基于HMM的TTS demo百度网盘分享
AHOcoder(Linux 64bit)：AHOcoder、AHOdecoder
方案：
- 基于Voice Conversion 的语音序列转换
  - 总体思路
- 基于TTS的adaption(使用DNN或HTS demo中方法)
可行性分析
- Voice Conversion 方法可以尝试，但效果达不到在工业界上应用的标准，学术界有利用GMM、DNN、RNN进行特征转换的尝试，最少能利用5句话进行训练，demo效果一般。链接如下：
  - 微软：DNN VC
  - 香港科技大学：BLSTM VC
  - 印度OHSU：Joint AE VC
  - 日本东京大学：GMM VC
  - 法国tut：基于DKPL回归
  - Voice Morphing：Voice Morphing
- TTS方法较VC方法效果更好，百度和微软使用，如百度的个性化TTS，没有找到相关产品链接。学术界的demo链接如下：
  - 日本Kobayashi 实验室：Speaker-Independent HMM-Based Voice Conversion
  - 爱丁堡大学：Listening test materials for “A study of speaker adaptation for DNN-based speech synthesis”
  - TOKUDA and NANKAKU LABORATORY
关键点
- 声音编码解码器：AHOcoder，STRAIGHT，HTK，Sphinx，Kaldi
- 时间序列对齐算法：SPTK中dtw，或一些matlab代码
- 参数生成算法：考虑global variance的parameter generation algorithm，参考hts_engine源码
- 模型：GMM，FFNN，SJAE，RNN(BLSTM)
- TTS：HMM+神经网络
- adaption算法：参考hts_engine源码，或一些基于DNN的adaption算法
- 。。。等
GMM方法介绍
- 对cmu语料库，使用wav2raw将16khz的raw文件转换为wav文件，再使用sox命令将wav文件转换为AHOcoder所要求的格式的文件
- 用./ahocoder .wav .lf0 .mgc生成lf0和mgc文件，可分别选5句话作为train，其余作为test
- 使用adaption.sh对lf0进行adaption转换，首先要选好train和test的list，之后进行adaption
- 对mgc进行dtw
- 生成gmm模型function [G,P]=gmmtrain(X,m)
- 进行blfwas转换训练function [alfa,R]=blfwastrain(X,Y,P)
- 进行测试：
  - 对向量分类function [P,L]=gmmprobs(G,X)
  - 进行blf转换，并把c0加进去，function Y=blfwasconv(X,alfa,R,P));

神经网络方法介绍

lf0 adaption 同上
对mgc进行dtw
生成train、test数据：

生成模型

model = nn.Sequential()
model:add(nn.Linear(featuresize, 1600))
model:add(nn.Sigmoid())
model:add(nn.Linear(1600,1600))
model:add(nn.Sigmoid())
model:add(nn.Linear(1600,featuresize))
parameters,gradParameters = model:getParameters()
criterion = nn.MSECriterion()

模型训练function train(dataset, epoch)， epoch至少30
模型测试

gmm和ffnn比较

对要进行test的句子进行dtw
将dtw后的mgc，生成与之匹配的lf0
将dtw后的mgc放入模型中训练
比较gmm和ffnn的loss

结果：

sentence 201 gmmloss 0.036529385447057
sentence 201 ffnnloss 0.046960693755606
sentence 202 gmmloss 0.035971315142976
sentence 202 ffnnloss 0.045717428320603
sentence 203 gmmloss 0.036316870476923
sentence 203 ffnnloss 0.048515932974621
sentence 204 gmmloss 0.03515496055483
sentence 204 ffnnloss 0.044821883321134
sentence 205 gmmloss 0.035342631346648
sentence 205 ffnnloss 0.046809512919579
ffnn和gmm的LSD比较：
gmm 201 ：2.2984 ffnn 201 : 2.2333
gmm 202 ：2.3307 ffnn 202 : 2.6521
gmm 203 : 2.3779 ffnn 203 : 2.5498
gmm 204 : 2.4843 ffnn 204 : 2.3554
gmm 205 : 2.3104 ffnn 205 : 2.3458