从零搭建音乐识别系统(一)整体功能介绍_程大海的博客-CSDN博客
从零搭建音乐识别系统(二)音频特征提取_程大海的博客-CSDN博客_音乐特征提取
从零搭建音乐识别系统(三)音乐分类模型_程大海的博客-CSDN博客
从零搭建音乐识别系统(四)embedding特征提取模型_程大海的博客-CSDN博客
从零搭建音乐识别系统(五)embedding特征提取模型验证_程大海的博客-CSDN博客
代码地址:https://github.com/xxcheng0708/AudioEmbeddingExtraction
从零开始搭建一个音乐识别系统总共分几步,简单画了一个草图:
总结一下,大概分为以下四步:
1、训练一个分类模型,用于识别一段音乐是否是音乐,如果是音乐才继续进行识别,如果不是音乐则停止识别,这可以带来两个方面的好处。一是可以降低一定的计算量;二是可以降低误识别
2、使用度量学习相关方法,训练一个提取音乐片段embedding向量的模型,理想情况下,相似的歌曲片段的embedding之间具有更高的相似度,从而可以根据embedding相似度进行识别
3、基于训练好的分类模型和embedding特征模型,把需要识别的歌曲文件都转换成对应的embedding特征向量,构成一个歌曲的embedding特征库
4、对于一个新的歌曲片段,使用分类模型和embedding特征模型提取embedding特征向量,然后和特征库中保存的embedding所有特征向量之间进行相似度匹配,返回满足相似度阈值的识别结果。
在后续博客中,会依次介绍歌曲文件预处理、梅尔频谱特征提取、分类模型训练、embedding特征提取模型训练、embedding向量库构建、向量库检索,以及在模型训练中遇到的一些问题。