语音识别(ASR)论文优选：粤语语料集Automatic Speech Recognition Datasets in Cantonese Language: A Survey and a New D

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。

Automatic Speech Recognition Datasets in Cantonese Language: A Survey and a New Dataset

本文为香港科技大学在2022.01.07更新的文章，主要对粤语的开源数据集进行总结并开源新的数据集MDCC，具体的链接

https://arxiv.org/pdf/2201.02419.pdf

---

注：本文主要开源粤语识别数据集​，较为简单。

1 背景

伴随着基于神经网络的语音识别的性能不断提升、开源数据的不断增多，语音社区逐渐​扩大。但语音识别在低资源语言的语料依然匮乏，因此本文设计和提供了粤语语料​MDCC。

2 详细设计

本文先统计目前开源的粤语语料的详细数据，具体如table1​所示。因此本文设计了数据集Multi-Domain Cantonese Corpus (MDCC) 。该数据包括以下场景​： philosophy, politics, education, culture, lifestyle and family。该数据集制作流程：1）获取粤语语音，使用VAD进行切句子；2）使用Google Cloud Speech-to-Text API进行转写；3）​人工进行校对​。其中在人工校验过程中对文本的格式进行处理，比如table2展示的unified writing和important words。table3展示几条归一化的文本事例。图1和table4是数据集MDCC划分​具体参数。图2和图3展示​时长分布。table5展示语料中​top的词的情况。图4展示每个​domain句子数量。图5展示词频分布​情况。

​3 实验

本文和common voice zh-HK​数据集进行对比试验。table6是两个数据集的数据划分情况​。table 7是训练的模型Fairseq S2T Transformer长度CER情况​。试验结果表明数据集MDCC增强​模型鲁棒性。

4 总结

本文主要总结了粤语的识别语料饼干提出了数据集Multi-Domain Cantonese Corpus (MDCC) ​。