CVPR最佳学生论文!1千万张图像、跨越45万+物种的超大数据集,多模态模型BioCLIP实现零样本学习

不同于传统学术领域对期刊发表的重视,计算机界,尤其是机器学习、计算机视觉、人工智能等领域,顶级会议才是王道,无数「热门研究方向」、「创新方法」都将从这里流出。

作为计算机视觉乃至人工智能领域最具学术影响力的三大顶会之一,今年的国际计算机视觉与模式识别会议 (CVPR) 从会议规模到接受论文数量,都刷新了此前记录。

活动现场,图源:Dan Goldman

根据 CVPR 官方的最新公告,CVPR 2024 已经成为该会议历史上规模最大、参与人数最多的一届, 截止 6 月 19 日,现场参会人数已超过 1.2w 人。

图源:CVPR2024官方

此外,作为领先的计算机视觉盛会,CVPR 每年都会录用当前视觉领域的最新研究,在今年提交的 11,532 份有效论文中,2,719 篇论文被接收,与 CVPR 2023 相比,接收论文的数量提高 20.6%,而录用率却降低 2.2%。 这些数据表明,CVPR 2024 的热度、竞争激烈程度以及获奖论文的含金量均有所提升。

获奖论文数量,图源:php.cn

北京时间 6 月 20 日凌晨,CVPR 2024 正式公布了本届会议的最佳论文等奖项。据统计,本次共有 10 篇论文获奖,其中最佳论文 2 篇,最佳学生论文 2 篇,最佳论文提名 2 篇和最佳学生论文提名 4 篇。

BIoCLIP 获最佳学生论文,图源:CVPR2024官方

其中,「BIoCLIP: A Vision Foundation Model for the Tree of Life」被评为最佳学生论文。 对此,麻省理工学院计算机科学与人工智能实验室助理教授 Sara Beery 更是评价其作者和团队为「当之无愧」的获奖者,论文第一作者 Samuel Stevens 第一时间在平台上表示了感谢。

Sara Beery 在社交平台评价 BIoCLIP 团队当之无愧

HyperAI超神经将从数据集、模型架构、模型性能等方面,全面解读「BIoCLIP: A Vision Foundation Model for the Tree of Life」,并为大家汇总整理了一作 Sam Stevens 的其他成果。

论文下载地址:
https://arxiv.org/pdf/2311.18803

创建最大、最多样化的生物图像数据集

目前最大的机器学习生物图像数据集是 iNat21,包含 270 万张图像,覆盖 1 万个物种。尽管,与 ImageNet-1k 等通用领域数据集相比,iNat21 的分类广度有极大提升,但对于生物学而言,1 万个物种仍是凤毛麟角。国际自然保护联盟 (IUCN) 在 2022 年就报告了超过 200 万个已知物种,仅鸟类和爬行动物就分别超过 1 万个物种。

针对生物图像数据集物种类别限制的问题,研究人员构建了一个包含 1,000 万张图像的数据集 TreeOfLife-10M, 跨越 450K+ 物种,在数据集规模和物种多样性方面完成了革命性突破。

TreeOfLife-10M 中 108 个门类的树状图不同颜色代表不同的门类,方框大小代表样本的相对数量

该数据集结合了 iNaturalist、 BIOSCAN-1M 和生命百科全书 (Encyclopedia of Life, EOL) 中的生物图像。

TreeOfLife-10M 的数据来源

除了 iNat21 所覆盖的 1 万个物种类别外,研究人员从 EOL 下载了 660 万张图像,将 TreeOfLife-10M 扩展到覆盖额外的 44 万种分类群。同时,为了帮助基础模型学习昆虫的极细粒度视觉表征,研究人员还纳入了 BIOSCAN-1M,这是一个包含 100 万张实验室昆虫图像的最新数据集,覆盖 494 个不同的科、7,831 种物种分类。

TreeOfLife-10M 下载地址:
https://go.hyper.ai/Gliol

多模态模型 BioCLIP:基于 CLIP 提升泛化能力

与通用任务相比,生物学计算机视觉的标注空间 (label space) 更加丰富,不仅分类标注数量庞大,且标注在层级分类系统中相互连接,这无疑为训练高物种覆盖率、强泛化能力的基础模型带来了巨大挑战。

借助生物学数百年研究所积累的经验,研究人员认为,如果基础模型能够成功编码标注空间的结构,那么即便没有见过某个特定物种,模型就可能已经能够识别其所对应的属 (genus) 或科 (family) 并给出相应的表征,而这种层级表征 (hierarchical representation) 将有助于实现新分类群的少样本、甚至零样本学习。

基于此,研究人员选择了 OpenAI 开发的多模态模型架构 CLIP,并利用 CLIP 的多模态对比学习目标在 TREEOFLIFE-10M 上持续进行预训练。

具体而言,CLIP 对视觉编码器和文本编码器这两种单模态嵌入模型进行训练,从而最大化正对 (positive pairs) 之间的特征相似性,最小化负对 (negative pairs) 之间的特征相似性,其中正对来自训练数据,负对是 batch 中所有其他可能的配对。

BioCLIP 训练中的文本类型

此外,CLIP 的一个重要优势便是其文本编码器接受自由形式的文本,恰恰能够应对生物学领域多样化的类名格式问题。针对该研究中的文本形式,研究人员主要考虑了:

*** 分类名称 (Taxonomic name):** 标准的七级生物分类从高到低依次为界 (Kingdom)、门 (Phylum)、纲 (Class)、目 (Order)、科 (Family)、属 (Genus)、种 (Species)。对于每个物种,通过将从根到叶的所有标注连接成一个字符串来「展平 (flatten)」分类系统,这个字符串就是分类名称。

*** 学名 (Scientific name):** 由属和种组成。

*** 通用名 (Common name.):** 分类名称通常是拉丁文,而在通用的图像-文本预训练数据集中不常见。相反,诸如「黑嘴喜鹊 (black-billed magpie)」这样的通用名称更为普遍。需要注意的是,通用名称与分类群之间可能并不是一对一映射关系,一个物种可能有多个通用名称,或者同一个通用名称可能指多个物种。

在实际应用中,可能只有一种类型的标注输入,为了在推理时提高灵活性,研究人员提出了一种混合文本类型训练策略, 即在每个训练步骤中,将每个输入图像与从所有可用文本类型中随机抽取的文本配对。实验证明,这种训练策略不仅保持了分类名称的泛化优势,还在推理时提供了更多灵活性。

BioCLIP 识别过程

如上图 a 所示,两种不同植物 Onoclea sensibilis (d) 和 Onoclea hintonii (e) 的分类群或分类标签,除物种 (species) 外,完全相同。

上图 b 所示,文本编码器是一个自回归语言模型,能够自然编码 taxonomy 的分层表征 (hierarchical representations),其中的阶次表征 (order representation) Polypodiales 只能依赖于更高的阶次,从 Kingdom、Phylum 和 Class tokens 中吸收信息。这些分类标注 (taxonomic labels) 的分层表征被输入到标准的对比预训练目标中,并与图像表征 (d) 和 (e) 相匹配。

BioCLIP 和 CLIP 的预测示例

上图为 BioCLIP 和 CLIP 对鸟类 525、浮游生物、昆虫等五种的预测示例,正确标注为绿色,错误标注为红色。左侧一列为 BioCLIP 的正确预测。中间及右侧是 CLIP 错误标注但 BioCLIP 正确标注的图像。

BioCLIP 在零样本和少样本任务上表现出色

研究人员将 BioCLIP 与通用视觉模型进行了比较。结果显示 ,BioCLIP 在零样本和少样本任务中均表现出色,并且显著优于 CLIP 和 OpenCLIP, 在零样本和少样本任务中的平均绝对改善 (average absolute improvement) 分别为 17% 和 16%。内在分析进一步表明,BioCLIP 学习到了更细粒度的符合生命树的层次表示,解释了其卓越的泛化能力。

不同模型的零样本、一样本和五样本分类 top-1 准确率

具体而言,研究人员引入了一项新的评估任务「稀有物种 (RARE SPECIES)」,收集了世界自然保护联盟红色名录中的约 25K 个物种,这些物种被分类为近危、易危、濒危、极危或野外灭绝。研究人员在 EOL 数据集中,选取了至少有 30 幅图像的 400 个此类物种,然后将它们从 TreeOfLife-10M 中移除,创建了一个全新的稀有物种测试集, 每个物种有 30 幅图像。

对比结果如上图所示,BioCLIP 在零样本分类中明显优于基线 CLIP 模型以及 iNat21 训练的 CLIP 模型,尤其是在未见过的分类上(见 Rare Species 列)。

硕果累累,探索最佳 BioCLlP 背后的科研之道

「BioCLlP: A Vision Foundation Model for the Tree of Life」由美国俄亥俄州立大学、微软研究院、加州大学欧文分校、伦斯勒理工学院共同发布,论文的第一作者 Samuel Stevens 博士和通讯作者 Jiaman Wu 均来自俄亥俄州立大学。

尽管 Samuel Stevens 自谦地在其个人网页上描述自己「不是一个非常严肃对待自己的人」,但从他近几年丰硕的科研成果和不懈努力来看,他显然是一个严谨对待科研事业的人。

据了解,Samuel Stevens 从 2017 年开始,一直从事计算机方向的工作,多模态模型 BioCLlP 是他在 2023 年 12 月发布的一项研究成果,并于 2024 年 2 月被 CVPR 2024 接收。

事实上,类似 BioCLlP 等 computer vision 方向的工作只是他的研究方向之一,他的兴趣很广泛,也曾在 AI for crypto、various LLM projects 等领域展开了一系列研究。

例如,他曾参与的「MMMU:A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI」,提出了一个新基准 MMMU (大规模多任务语言理解), 作为目前业界最有影响力的大模型测评基准之一,MMMU 侧重于利用特定领域(科学、健康与医学、人文等)的知识进行高级感知和推理,要求多模态模型能够执行与专家面临的类似任务。

研究人员用其对 14 个开源 LMM 和专有 GPT-4V (ision) 进行了评估,发现即使是先进的 GPT-4V 也只达到了 56% 的准确率,这表明模型还有很大的改进空间。对此,研究人员表示,希望该基准能激励社区建立下一代多模态基础模型,以实现专家级人工通用智能。
MMMU: https://mmmu-benchmark.github.io

当然,他对科研的热情和开放态度也是他取得成功的关键要素。昨日,BioCLlP 被评为最佳学生论文的消息刚出来,Samuel Stevens 博士第一时间通过社交平台向外界表达了他的观点:「如果您想聊聊动物的计算机视觉、多模态基础模型或 AI for Science,请私信我!」

Samuel Stevens 在社交平台表达开放的态度

值得一提的是,Samuel Stevens 博士不仅在科研路上砥砺前行,亦不忘提携后进。他的个人网页上也分享着对初学者的建议:「如果你想开始机器学习和人工智能。或许可以从 Coursera 的机器学习课程和 Andrej Karpathy 的 Neural Networks : Zero to Hero 开始。这两门课程的质量都非常高,与其他免费资源相比,应该会提供很多价值。」

参考资料:
1. https://samuelstevens.me/#news

最后推荐一个活动!

扫码即可报名参与「Meet AI Compiler」技术沙龙第 5 期线下聚会↓

  • 19
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值