点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
CVer学术知识星球最大优惠来了!现在赠送新用户50元优惠券(下方左图),老用户7折+20元续费券(下方右图),CVer星球每天分享最新最优质的AI/CV内容,助力你的科研和工作!
注:扫码加入CVer星球后,记得添加小助手微信号:CVer111,可以每天在朋友圈里阅读学习,查漏补缺!如果已有其他小助手微信,则可以不用重复添加。
Mamba 被拒!但依然火爆!
Mamba 有多火?虽然被 ICLR 2024 强势拒稿,但热度依旧非常高!去年11月该论文就引发热议,截止今年4月27日,已经突破200+引用量!
据 Amusi 了解,目前还没有视觉顶会(A类/B类)正式收录 Mamba 及其魔改工作!比如晚一点的 CVPR 2024 投稿工作根本来不及follow Mamba。
不过很快啊!MICCAI 2024(6月中旬通知)、ACM MM 2024(7月中旬通知),甚至 ECCV 2024(7月初通知) 应该就能看到Mamba相关视觉工作收录了!尤其是 MICCAI 2024 上一定会有,而且 Amusi 估计 MICCAI 2024上 Mamba 相关论文的中稿数量应该会上两位数!这个无需多言,常看 CVer 小助手朋友圈和CVer学术知识星球的同学几乎天天被刷屏!看看星球最近打包好的分享文件!
SSM 视觉工作收录 CVPR 2024!
Mamba被拒,关我SSM(状态空间模型)什么事情!Amusi 注意到 SSM 相关工作已经被CV顶会收录了!在 CVPR 2024 上,就有且仅有两篇 SSM 视觉工作。这前瞻性真够强!
1. CVPR 2024 | HumMUSS: Human Motion Understanding using State Space Models
Apple新作:利用SSM(状态空间模型)理解人体运动
本文基于状态空间模型的最新进展,提出一种新颖的无注意力时空模型,用于人体运动理解,性能表现SOTA!而且内存高效,比基于Transformer的方法快几倍!
单位:Mila, Apple
中文介绍:https://t.zsxq.com/IHg3d
2. CVPR 2024 | State Space Models for Event Cameras
首篇!事件相机的状态空间模型
本文为事件相机引入了状态空间模型,以解决基于事件的视觉中的两个关键挑战:i) 当以不同于其训练条件的时间频率操作事件相机时,模型性能退化;ii) 训练效率,实验突出了SSM在基于事件的视觉任务中的有效性!
单位:苏黎世大学
中文介绍:https://t.zsxq.com/ar93r
此外,Amusi 注意到 CVPR 2024 Workshop 上已有 Mamba 视觉工作被收录,但因为不是正会,这里就不赘述。感兴趣的同学可以去CVer学术知识星球中阅读学习,已打包好上传!
Mamba / SSM 综述都来了!
Mamba 太火了!相关综述都出了几篇,Amusi也第一时间分享到CVer知识星球了,这里给大家复盘一下,重点分享三篇最新综述。
【1】第一篇 SSM / Mamba 综述:全面调研
State Space Model for New-Generation Network Alternative to Transformers: A Survey
单位:安徽大学, 哈工大, 北大
具体详见:第一篇Mamba综述来了!
33页综述!269篇文献!本文对状态空间模型(SSM)进行第一个全面调研,并提供了实验比较和分析,以更好地展示SSM的特点和优势,深入审查现有的 SSM 及其各种应用,包括CV、NLP、图、多模态和多媒体、点云/事件流、时间序列数据和其他领域!
【2】第一篇视觉Mamba综述:全面调研
A Survey on Visual Mamba
单位:国科大, 中科大等
中文介绍:https://t.zsxq.com/kLFEE
本文是第一篇旨在深入分析计算机视觉领域 Mamba 模型的全面调研,探讨促成 Mamba 成功的基本概念,包括SSM、选择机制和硬件感知设计,并梳理了 Mamba 在视觉任务中的广泛应用,包括通用视觉任务(分类/检测/分割等)、医学、遥感等任务。
【3】微软发布Mamba-360:SSM调研综述——方法、应用和挑战
Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
单位:微软
中文介绍:https://t.zsxq.com/tQgeN
46页SSM综述!195篇文献!本文对SSM(状态空间模型)全面调研,根据三个范式对 SSM 进行分类,即门控架构、结构架构和循环架构,梳理了 SSM 在视觉、视频、音频、语音、语言、医学、时序等领域的工作,还对代表性算法的性能进行详细盘点!
除了这三篇 SSM / Mamba 综述之外,Amusi 还在CVer学术星球里分享了很多 Mamba 教程和数百篇相关论文/代码!感兴趣的同学可以加入CVer学术知识星球中阅读学习!
CVer学术知识星球最大优惠!现在赠送新用户50元优惠券(下方左图),老用户7折+20元续费券(下方右图),赶紧加入星球学起来!
注:扫码加入CVer星球后,记得添加CVer小助手微信号:CVer111,可以每天在小助手朋友圈里阅读学习,查漏补缺!如果已有其他小助手微信,则可以不用重复添加。
侃侃
不少同学认为:Mamba 是对标 Transformer 的新势力阵营最坚挺最持久的工作,以目前的势头来看,还是有一定道理的。比如前不久最大的Mamba混合体:Jamba,其是首个基于Mamba的生产级工作,具有顶级性能!
值得一提的是,Mamba 在医学影像领域中应用最多,尤其是医学图像分割,部分工作如下图所示:
如果你想看更多最新 Mamba 工作、以及其他发论文的顶流,比如:3DGS、扩散模型、多模态、顶会涨点神器等,那 Amusi 强烈推荐大家加入CVer学术星球学习!正好现在 CVer学术知识星球最大优惠来了!赠送新用户50元优惠券(左图),老用户7折+20元续费券(右图),扫码即可加入学习!
注:扫码加入CVer星球后,记得添加小助手微信号:CVer111,可以每天在朋友圈里阅读学习,查漏补缺!如果已有其他小助手微信,则可以不用重复添加。
Mamba微信流群成立
扫描下方二维码,或者添加微信:CVer5555,即可添加CVer小助手微信,便可申请加入CVer-Mamba微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer5555,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!
▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看