Fantasy Mix-Lingual Tacotron Version 4: Google-ZYX-Phoneme-HCSI-DBMIX

0. 说明

1. Google-ZYX指有VAE
2. Phoneme-HCSI指中文使用实验室G2P和韵律, 英文用KbGit和替换空格
3. DBMIX指双语/混语语料为标贝买的
4. 为了和'春春'语料统一, 目前只使用中文10000和英文2000句

1. 代码调整

1.1. 拷贝之前的项目

使用Git: https://github.com/ruclion/Fantasy_Mix-Lingual_Tacotron_Version_2_Google-ZYX

项目为: /ceph/home/hujk17/Fantasy_Mix-Lingual_Tacotron_Version_4_Google-ZYX-Phoneme-HCSI-DBMIX

这个项目的Git: https://github.com/ruclion/Fantasy_Mix-Lingual_Tacotron_Version_4_Google-ZYX-Phoneme-HCSI-DBMIX

1.2. G2P_CN_HCSI得到中文Phoneme文本

1.2.1. 标贝中文的处理

主要是databaker_G2P.py, 在本项目下有一份: /ceph/home/hujk17/Fantasy_Mix-Lingual_Tacotron_Version_4_Google-ZYX-Phoneme-HCSI-DBMIX/G2P_CN_HCSI

这一份是不会变的

还有一份在: /ceph/home/hujk17/G2P_CN_HCSI

https://github.com/ruclion/G2P_CN_HCSI

这一份可能随着G2P的增加和语料处理的增加而改

将得到的train.txt改名字为DBMIX_CN_meta.csv.txt

1.2.2. 中文的pinyin和symbol和韵律

_来分割symbol, pinyin_G2P_2.py可以分解pinyin到symbols(声韵母)

韵律对于标贝的天然有实验室的代码

1.2.3.  声调embedding到symbol上

参看文献一, 2020阿里:

• Instead of using a unified phone set across languages, we combine English and Mandarin phone sets together as a whole. For English utterances, we use 44 British English phoneme symbols plus 3 possib