语音方向论文阅读

1.Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition

摘要

 模型结构

实验结果

BABEL

 

Aishell-1

 

 结论

利用BERT预训练模型来做语音识别，引入嵌入注意模块将声学信息融入到bert，促进表征学习

2.SIMPLIFIED SELF-ATTENTION FOR TRANSFORMER-BASED END-TO-END SPEECH RECOGNITION

摘要

模型结构

 

 实验结果

 结论

只是简单的Transformer中的全连接层进行替换成DFSMN或者去掉,没有去探究注意力的优化，实验结果也没有表现特别好！！！

3.Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning

摘要

模型结构

实验结果

 

 结论

引入了多阶段学习，使用无监督学习以及知识蒸馏，无很大的创新点

 4.HEAD-SYNCHRONOUS DECODING FOR TRANSFORMER-BASED STREAMING ASR

 摘要

提出头同步的DACS（解码端自适应计算步骤）算法，

 算法步骤

 实验结果

结论

针对DACS算法提出HS-DACS算法，在流式结果对比上有所提升