【数据应用案例】DeepMind听声辨位

案例来源:@机器之心

案例地址:https://mp.weixin.qq.com/s/ywU4L659iRcmIgmV6RtbXAhttps://arxiv.org/pdf/1712.06651.pdf

 

1. 目标:利用同时具有音频和视频的数据进行训练,进而识别出某段音频是否可能由某段视频产生(如弹吉他、说话、酒杯摔碎),并识别出声音是由哪个部分产生的

 

2. 匹配音频与视频

    1)是二分类问题,即一段音频与一段视频是否匹配

    2)视频与音频分别输出ImageConvNet和AudioConvNet抽取特征表达,对齐后计算欧式距离,然后输出是否对应的可信度

 

3. 定位发声对象

    1)增加监督数据,标注发声对象在图像中的位置

    2)在网络中增加“音频-发声对象”的输出层

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值