高质量分割：Segment Anything in High Quality

邴梅忱Walter

于 2024-08-09 08:15:52 发布

阅读量465

点赞数 5

本文链接：https://blog.csdn.net/gitblog_00783/article/details/141049343

版权

高质量分割：Segment Anything in High Quality

sam-hqSegment Anything in High Quality [NeurIPS 2023]项目地址:https://gitcode.com/gh_mirrors/sa/sam-hq

在这个数字时代，计算机视觉技术已经成为我们日常生活和工作中不可或缺的一部分。从自动驾驶到图像识别，再到虚拟现实，精确的图像分割是许多应用的关键。最近，ETH Zurich 和 HKUST 的研究团队提出了一个名为 "Segment Anything in High Quality"（HQ-SAM）的开源项目，将零样本分割提升到了新的高度。

项目介绍

HQ-SAM 是对 Segment Anything Model (SAM) 的重大改进，它旨在提供高质量的、无样本的图像和视频分割。尽管 SAM 已经在大规模数据集上训练，并能实现灵活的文本提示，但其在处理结构复杂的对象时仍存在一些局限。HQ-SAM 通过引入学习型的高质输出令牌（High-Quality Output Token），增强了模型对细节的捕捉能力，而无需大幅度增加参数或计算量。这个创新设计使得 HQ-SAM 能够准确地分割任何对象，无论是静态图像还是动态视频，同时保持原有的高效性和泛化性能。

项目技术分析

HQ-SAM 利用 ViT 系列的预训练模型，并巧妙地在其掩模解码器中插入学习型高质输出令牌。这些令牌不仅作用于掩模解码器特征，还会与其他早期和最终的 ViT 特征融合，从而生成更为精细的分割结果。为了训练这些新增的参数，研究人员构建了一个包含 44,000 个精细分割掩模的数据集。经过短短四小时的训练，HQ-SAM 在各种分割任务上展现出卓越的性能。