Charsiu-G2P

最新推荐文章于 2024-11-10 23:18:34 发布

林林宋

最新推荐文章于 2024-11-10 23:18:34 发布

阅读量226

点赞数

分类专栏： paper笔记基础工具文章标签： python

本文链接：https://blog.csdn.net/qq_40168949/article/details/134740291

版权

163 篇文章 24 订阅

订阅专栏

3 篇文章 0 订阅

订阅专栏

‒ 输入格式：“language关键字+文本”首先过transformer-AutoTokenizer按照letter进行编码；编码序列送入charsiug2p模型（T5ForConditionalGeneration）
‒ 输出格式：输出也是来源于发音词典 & g2p 模型预测结果两个部分

输入文本	g2p
德语 words = [‘Deutsche’, ‘aktuelle’, ‘politische’, ‘Nachrichten’, ‘und’, ‘öffentliche’, ‘Topthemen’]	[‘ˈdɔøʧə’, ‘ʔaktuɛllə’, ‘ˈpoːlitɪʃə’, ‘ˈnaxˌɾɪçtən’, ‘ˈʔʊnt’, ‘ʔœfˈfɛntlɪçə’, ‘ˈtɔptəmən’] (–输出结果有问号？？)
英语 words = [‘Char’, ‘siu’, ‘is’, ‘a’, ‘Cantonese’, ‘style’, ‘of’, ‘barbecued’, ‘pork’]	[‘ˈtʃɑɹ’, ‘ˈʃu’, ‘ˈɪs’, ‘ˈeɪ’, ‘ˌkæntəˈniz’, ‘ˈstaɪɫ’, ‘ˈəf’, ‘ˈbɑɹbɪkˌjud’, ‘ˈpɔɹk’]
中文words = [‘高’, ‘德’, ‘地’, ‘图’] (一个中文对应6个byte-encoding)	[‘kɑʊ˥˥’, ‘tɤ˧˥’, ‘ti˥˩’, ‘tʰu˧˥’]
日文words = ['こんにちは‘]	[‘koɴnitɕiha’]

abstract
- 爬取wiki上多个语言的文本，使用RoBert训练的方法和模型，随机mask文本，进行预测（取消预测下一句的任务）；得到多语言phone-bert encoding；（330M phonemic description sentences， over 100+ language）
- 这个encoder作为TTS 的text-encoder，效果比单独使用phone-encoding的VITS ，自然度有明显提升；
步骤；
- 文本数据清洗；
- CharsiuG2P将文本转成phone，但是由于CharsiuG2P本身不会对单词对应的phone进行分界（输入一个单词返回一个序列结果；输入一句话，也是只有一个序列结果），所以使用音素结果分词工具对CharsiuG2P的结果拆分；不同单词的phone结果之间用“symbol _ (U+2581)“进行分隔；----这一步整体的操作，作者做成了一个python包-text2phonemesequence,
- white-space level tokenizer 得到1960 音素单元；（transformer不同的tokenizer方式