案例来源:@机器之心
案例地址:https://mp.weixin.qq.com/s/ywU4L659iRcmIgmV6RtbXA;https://arxiv.org/pdf/1712.06651.pdf
1. 目标:利用同时具有音频和视频的数据进行训练,进而识别出某段音频是否可能由某段视频产生(如弹吉他、说话、酒杯摔碎),并识别出声音是由哪个部分产生的
2. 匹配音频与视频
1)是二分类问题,即一段音频与一段视频是否匹配
2)视频与音频分别输出ImageConvNet和AudioConvNet抽取特征表达,对齐后计算欧式距离,然后输出是否对应的可信度
3. 定位发声对象
1)增加监督数据,标注发声对象在图像中的位置
2)在网络中增加“音频-发声对象”的输出层