Audio Super Resolution with Neural Networks
论文:Audio Super Resolution with Neural Networks
代码: Github
CV方向的超分辨研究已经非常多了,但是音频方向的超分辨研究却相对较少。作者的这篇文章就是开山之作,已经发表在ICLR2017上,从项目主页的Demo来看,效果还不错。但是作者也指出了几个问题:
- 如果想把这个模型用在自己的数据上,需要多搜集一些自己的数据训练,意思就是换个数据集可能就不好使了,毕竟每个数据集有一些差别
- 作者的低分辨率音频是通过低通滤波下采样得到的,所以对于不同的低通滤波方式,算法产生的效果差别就很大。如果是你自己的低分辨率音频,你根本不知道这个音频是哪种低通滤波产生的,所以效果可能会打折扣
- 如果是用人声训练出来的模型,应用到钢琴,音乐上,效果就会很差
总体思想
输入低分辨率的音频时间序列,训练一个Encoder-Decoder模型,输出高分辨率的音频时间序列。思路和CV的超分辨其实差不多。就是在低分辨率音频信号中插入高分辨细节。
网络结构如下: