labelme软件中使用自动标记来分割，EfficientSAM

qq_50857609

于 2025-04-09 17:30:39 发布

阅读量476

点赞数 11

文章标签：目标跟踪人工智能计算机视觉

本文链接：https://blog.csdn.net/qq_50857609/article/details/147094437

版权

使用的时候在，labeme软件打开AI自动标记，会出现如下

AI model is already initialized: 'EfficientSam (accuracy)'

这个功能来源于一篇论文。下面是你问deepseek。

询问https://github.com/yformer/EfficientSAM

，帮我解释，让我理解这篇论文是在干什么呢？有什么贡献？

以下是关于论文《EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything》的核心内容解析及其贡献总结：

研究背景与问题

Segment Anything Model (SAM) 凭借其强大的零样本迁移能力和通用性，已成为图像分割领域的标杆模型。然而，SAM 的计算成本极高，主要因其基于超大规模 Transformer 的图像编码器（如 ViT-H）和庞大的 SA-1B 数据集训练。这导致 SAM 在实际应用中面临推理速度慢、硬件资源需求高的问题114。例如，原 SAM 模型在单张 A100 GPU 上的吞吐量仅为每秒 1-2 张图像，参数规模高达 600M 以上，严重限制了其部署范围114。

方法创新

论文提出 EfficientSAM，通过 掩码图像预训练（SAMI） 和 知识蒸馏 技术，构建轻量化的 SAM 模型，核心分为两阶段：

SAMI 预训练阶段
- 掩码自编码器（MAE）框架：利用 SAM 的图像编码器生成的特征作为重建目标，训练轻量级编码器（如 ViT-Tiny/Small）。具体而言，通过高掩码比率（如 75%）对图像分块进行遮挡，解码器基于未遮挡区域的特征重建被遮挡部分的 SAM 特征114。
- 跨注意力解码器设计：仅对遮挡区域的特征进行重建，未遮挡区域的特征作为锚点，减少计算冗余1。
- 损失函数：采用均方误差（MSE）损失直接对齐 SAM 特征，而非传统的余弦相似度，提升特征重建效果1。
SAM 微调阶段
- 将 SAMI 预训练的轻量级编码器与 SAM 的默认掩码解码器结合，在 SA-1B 数据集上进行微调，适配分割任务114。

主要贡献

轻量化 SAM 架构
- 参数规模减少 20 倍（例如 EfficientSAM-S 仅 31.4M 参数），推理速度提升 20 倍，同时性能仅下降约 2 AP（如原 SAM 的 46.5 AP vs. EfficientSAM-S 的 44.4 AP）11415。
- 在零样本实例分割任务（如 COCO/LVIS）中，性能显著优于其他轻量级 SAM 变体（如 MobileSAM、FastSAM），提升约 4 AP114。
高效的预训练范式 SAMI
- 首次将掩码图像预训练与 SAM 特征蒸馏结合，通过重构 SAM 编码器的潜在特征，实现轻量模型的高效表征学习114。
- 在图像分类、目标检测等任务中，SAMI 预训练方法超越 MAE、BEiT 等传统掩码预训练方法，例如在 ImageNet-1K 上实现 84.8% 的 Top-1 准确率1。
跨任务通用性验证
- 在图像分类、实例分割、语义目标检测等多个视觉任务中验证了 EfficientSAM 的鲁棒性，证明其适用于需要实时分割的场景（如移动端应用）11415。

实验与结果

零样本实例分割：在 COCO 数据集上，EfficientSAM 的吞吐量达到每秒 20 张图像（原 SAM 仅 1 张），AP 性能接近原模型（44.4 vs. 46.5）114。
消融实验：验证了跨注意力解码器和 MSE 损失的有效性，例如仅使用遮挡区域解码可提升 3% 的分类准确率1。
效率对比：EfficientSAM 在参数量、FLOPs 和推理速度上均显著优于 MobileSAM 和 FastSAM，同时保持更高的分割精度114。