SoundNet:根据声音来识别场景环境实践

声音也是识别对象的一种重要数据源。其中根据声音来识别声音所处的环境也是语音识别的研究内容之一。今天对NIPS 2016年的这篇文章SoundNet: Learning Sound Representations from Unlabeled Video,(论文项目所在地址为:https://projects.csail.mit.edu/soundnet/)进行了复现,觉得这篇文章的做法挺有意义的。

1、论文原理

从题目中可以看出,其主要是从无标记的视频数据中来学习声音的相关信息。由于视频中包含图像和语音,由于图像现在的场景识别已经可以做到比较准确,因此根据识别的环境和语音之间的映射学习,从而可以学习得到语音与场景环境之间的对应关系。

论文的主要原理如下图所示:


即通过SoundNet架构与ImageNet,Place CNN等进行联合训练。首先视频数据集中的每个视频都切分成两部分,一部分为音频,一部分为RGB图像帧。视觉识别网络采用在ImageNet和Places两个大型图像数据集上的预训练VGG模型。ImageNet和Places都是图像识别领域的大型数据集,其中Imagenet是图像目标分类数据集,Places是图像场景分类数据集。将从视频中分割出来的RGB帧输入到预训练的VGG模型(代码中正常使用ResNet34)中,得到的输出结果作为声音识别网络的监督信息。声音识别网络采用8层的全卷积结构,使用从视频中提取出的声音时间序列作为网络的输入,损失函数采用KL-divergence。

2、论文实践:

(1) 给定一个声音,识别声音所在场景,可以识别出为火车相关的环境场景;


(2) 对给定一首歌曲,可以识别其发生场景为艺术厅


评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值