CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

Abstract & Introduction & Related Work

• 研究任务
  AAC（自动音频字幕）
• 已有方法和相关工作
• 面临挑战
• 创新思路
  使用预训练模型，seq2seq模型使用CNN14和ResNet54作为encoder，transformer的decoder
• 实验结论
  SPIDEr score of 0.246 and 0.285

PROPOSED MODEL

System Overview

Pre-Processing

输入特征使用了log-mel频谱图特征。音频数据的采样频率为44.1kHz，我们采用了1024大小的汉恩窗口，重叠率为50%。从每个窗口帧中，我们提取了64个对数梅尔波段的能量。对于时间窗口的数量，我们计算了样本数据集中的最大时间窗口数T。对于我们模型上的固定大小的输入特征，我们将时间维度填充为T大小的零

word embedding用word2vec

Data Augmentation

Spec Augment[8]作为一种数据增强方法被应用于更强大的训练。通过Spec Augment，在我们将对数谱图输入到CNN14或ResNet54编码器之前，频率掩码和时间掩码被随机地应用到对数谱图上

Pretrained Audio Neural Networks using AudioSet

预训练的PANNs用来处理输出，后面接encoder

Proposed Model

我们采用从PANNs学到的预训练网络（CNN14，ResNet54）作为AudioSet，并使用它们作为我们的编码器，把预训练模型的参数冻结

EXPERIMENTS

CONCLUSION

没有fine-tune的迁移学习表现最好

Remark

使用了在大规模数据集上预训练的迁移模型，并且不fine-tune效果更好？？我表示非常疑惑，那是不是说明你这个模型并不能学到什么东西，奇奇怪怪