![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读笔记
文章平均质量分 82
住在新手村的小木子
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记:Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
文章目录摘要一、背景二、模型三、实验论文地址:https://arxiv.org/abs/1804.01452代码:https://github.com/LiqunChen0606/Jointly-Discovering-Visual-Objects-and-Spoken-Words论文笔记,有问题请在评论区指出摘要本文设计了一个将音频字幕和对应的图像关联的神经网络,通过image-audio retrieval代理任务的学习,也可以实现图像中的声源定位。本文方法不需要监督。在Places ..原创 2021-11-08 23:09:12 · 2146 阅读 · 0 评论 -
论文阅读笔记: Localizing Visual Sounds the Hard Way
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录摘要背景方法Benchmark实验&结果论文地址:https://arxiv.org/pdf/2104.02691.pdf项目地址:https://www.robots.ox.ac.uk/~vgg/research/lvs/摘要主要目标: 在没有标注的情况下,在视频中定位可视的声源主要工作:通过训练网络来显式地区分有挑战性的图片片段,可以显著提高定位效果引入了一个benchmark VGG-Sound So原创 2021-07-02 11:35:36 · 504 阅读 · 0 评论 -
论文阅读笔记:Objects that sound
文章目录摘要一、背景二、跨模态查询三、定位发声物体总结摘要本篇文章有两个目标,第一个是设计一个网络可以将视觉和音频输入嵌入到一个适合于跨模态查询的空间中,另一个是在给定音频信号的情况下,可以在图像中对物体进行定位。作者通过音视频之间的对应关系(AVC)从无标注的视频中训练。贡献点:表明了音频和视觉embedding可以学习然后实现within-mode和between-mode之间的查询探索了AVC任务的不同网络架构表明了图像中有语义的发声物体是可以被定位的提醒了在数据准备时怎样避免..原创 2021-07-09 11:05:26 · 434 阅读 · 2 评论