论文解读：Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels

最新推荐文章于 2024-10-14 22:21:38 发布
最新推荐文章于 2024-10-14 22:21:38 发布
阅读量198 收藏 2
点赞数 9
分类专栏： 论文解读 文章标签： 计算机视觉 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pontoon/article/details/141608240
版权

Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels

方法流程

3D分割不能很好地泛化到未见过的域，并且需要额外的特定于域的注释。2D 模型泛化能力和零样本能力强，启发：将 2D 模型的这些特征融入到 3D 模型中。
首先使用 SAM 自动生成的 2D 掩模来预训练与类别无关的 3D 分割模型，这些掩模被投影到部分 RGB-D 点云。RGB-D和点云存在域差异。为此，在第二阶段，我们利用预训练模型的高置信度掩模预测作为训练信号，以自监督的方式在全 3D 点云上微调模型。

在这里插入图片描述
启发式合并规则过程引入了大量噪声。此外，大量的图像推理和繁琐的合并过程，导致速度很慢。Segment3D（右）利用3D 模型直接分割整个 3D 场景。

在这里插入图片描述
Stage2 预训练预测中选高Score的参与监督，只对mask做loss，不对是否“object”做loss，如果将正确的mask预测为“无效”物体对训练有害（可理解为标签噪声的影响）

[图片]

pontoon
关注
专栏目录
Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels
步子哥的博客
12-29 836
相比之下，2D基础模型展示了强大的泛化能力和令人印象深刻的零样本能力，这启发了作者将这些2D模型的特性融入到3D模型中。通过使用SAM（一种2D图像分割的基础模型）自动生成高质量的训练掩膜，Segment3D在3D分割性能上超过了现有的方法，尤其是在细粒度掩膜方面，并允许轻松添加新的训练数据以进一步提高分割性能，所有这些都不需要手动训练标签。它首先使用SAM预测RGB-D图像的分割掩膜，然后将这些2D掩膜投影到3D空间中，并通过自下而上的迭代过程，将部分场景的3D掩膜合并以获得整个场景的最终分割结果。
Learning to Segment 3D Point Clouds in 2D Image Space（CVPR2020）论文分析
lzhttbb的博客
10-26 240
本文创新地研究了如何有效地将点云投影到二维图像空间，借助构建图形的 Delaunay 三角剖分理论和多尺度 U-Net 网络设计，从而使传统的二维卷积神经网络可以应用于点云分割。首先，本文利用图形绘制的理论，将点云投影问题转化为整数规划问题，学习每个点云的拓扑保持图到网格的映射；其次，本文提出了一种新的分层近似算法，来加快计算速度；最后，文中方法在 ShapeNet 和PartNet 数据集上展示了最先进的性能，如下图所示。 本文方法在目前的点云分割方法中具有...
Segment-段(SAP)
少年休闲海
03-16 8574
Segment，段，或者叫分部、分支机构，是用于出具企业分部的财务报表。 通常通过利润中心进行派生，也可以通过BADI：FAGL_DERIVE_SEGMENT进行复杂的派生。 段的权限对象为F_FAGL_SEG。在标准的系统中，没有对段过账和显示凭证进行权限检查，如果需要，可以调用相应的BADI。 默认情况下，年底结转时不会按照业务范围、利润中心、段等特性结转留存收益科目余额，如
图像风格迁移cvpr2020_GitHub - wty2019/CVPR2020-Code: CVPR 2020 论文开源项目合集
weixin_39689297的博客
01-13 1031
CVPR2020-CodeCVPR 2020 论文开源项目合集，同时欢迎各位大佬提交issue，分享CVPR 2020开源项目关于往年CV顶会论文(如ECCV 2020、CVPR 2019、ICCV 2019)以及其他优质CV论文和大盘点，详见： https://github.com/amusi/daily-paper-computer-visionCNNExploring Self-attent...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
ECCV 2020 语义分割论文大盘点（38篇论文）
阿木寺的博客
09-25 3572
作者：CV Daily | 编辑：Amusi Date：2020-09-25 来源：计算机视觉Daily微信公众号（系投稿） 原文：ECCV 2020 语义分割论文大盘点（38篇论文） 前言 距离ECCV 2020 会议结束有段时间了，但其中的论文大多是目前的SOTA，所以非常值得大家花时间阅读学习！ 计算机视觉Daily将正式系列整理 ECCV 2020的大盘点工作，本文为第二篇：语义分割方向。第一篇是目标检测系列，详见：ECCV 2020 目标检测论文大盘点（49篇论文） 本文主要包含：一般的2D语.
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8825
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
了解计算机视觉：探索直播平台视频美颜SDK的集成与性能调优
q1031691172的博客
10-14 315
视频美颜SDK在直播平台中的集成与优化，不仅仅是一项技术性挑战，更是提升用户体验的关键手段之一。通过合理的计算机视觉技术应用，开发者可以为用户带来更加智能化、个性化的美颜效果。
计算机视觉的奇妙世界
最新发布
weixin_44626085的博客
10-14 796
计算机视觉是一门弥合机器与人类视觉之间鸿沟的学科。简单来说，它试图模仿和增强我们所具备的视觉能力。想象一下，如果你正在浏览一本图画书，书中的每张图片都在讲述一个故事，而计算机视觉的任务就是让机器拥有理解这些故事的能力。来源:Worktile社区。
DRAEM论文的创新点
qq_52291558的博客
10-14 301
通过在重建子网络的基础上加入判别子网络，并利用原始图像和重建图像的联合表示，DRÆM模型提高了异常检测的准确性和泛化能力。这种方法不仅减少了对复杂后处理步骤的依赖，还使得模型能够更好地理解和区分正常和异常样本，即使这些异常在外观上与正常样本非常相似。
深度学习论文: Slender Object Detection: Diagnoses and Improvements
mingo_敏
10-11 70
本文关注细长物体的检测，这类物体具有极端的长宽比，在现实生活中十分常见，对检测系统的目标实现至关重要。然而，以往的目标检测算法在很大程度上忽略了这一类别。研究发现，在经典目标检测方法的评估中，若专注于细长物体，其在COCO数据集上的平均精度均值（mAP）会显著下滑18.9%。鉴于此，本文深入研究了细长物体检测的问题，构建了一个分析框架，并设计了专门的基准测试和评估流程，以便全面审视和对比不同的算法与模块。研究结果显示，有效的细长物体检测不依赖于基于锚点的定位方式或特定的框表示方法，而关键在于特征适应。
Python知识点：基于Python技术，如何使用MMDetection进行目标检测
bigorsmallorlarge的专栏
10-11 473
通过上述步骤，你可以使用MMDetection进行目标检测任务，从环境配置到数据准备，再到模型训练和评估，整个过程都有详细的指导。MMDetection是一个开源的目标检测工具箱，由OpenMMLab提供，它基于PyTorch实现，支持多种目标检测、实例分割和全景分割算法。目录下，MMDetection提供了多种预设的模型配置文件。你可以选择一个适合你数据集的模型配置文件，或者创建一个新的配置文件。如果由于网络问题无法成功下载，可以访问MMDetection的GitHub页面，下载ZIP文件进行安装。
Loss：Focal Loss for Dense Object Detection
sinat_39783664的博客
10-14 57
focal loss原文方法解析
上百种【基于YOLOv8/v10/v11的目标检测系统】目录（python+pyside6界面+系统源码+可训练的数据集+也完成的训练模型）
2401_85556416的博客
10-13 67
待更新...............................................................................
Video-LLaMA论文解读和项目部署教程
qq_40379132的博客
10-14 618
Video-LLaMA基于BLIP-2和MiniGPT-4构建，主要由两个核心组件构成：(1) 视觉-语言(VL)分支和(2) 音频-语言(AL)分支。VL分支（视觉编码器：ViT-G/14 + BLIP-2 Q-Former）引入两层视频Q-Former及帧嵌入层，计算视频表示。在Webvid-2M视频字幕数据集上训练VL分支，以执行视频到文本生成任务。同时，添加来自LLaVA的约59.5万个图像标题对到预训练数据中，以增强静态视觉概念的理解。预训练后，我们使用来自MiniGPT-4。
【Python】Qwen-VL-7B box
个人笔记仅供本人查阅参考
10-11 147
【代码】【Python】box。
01 视频捕获
nmdbbzcl的博客
10-14 46
空间采样率是指在视频捕获过程中，每英寸或每毫米能够采样的线对数量，通常用lp/inch或lp/mm来表示。它定义了视频捕获设备在水平和垂直方向上对图像细节的采样能力。空间采样率直接关系到视频的分辨率和清晰度，是衡量视频捕获质量的关键指标之一。根据奈奎斯特-香农采样定理，为了避免混叠现象，采样率至少应达到信号最高频率的两倍。在实际应用中，通常会采用更高的采样率以确保图像质量。
Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework
05-11
The field of 3D point cloud semantic segmentation has been rapidly growing in recent years, with various deep learning approaches being developed to tackle this challenging task. One such approach is the U-Next framework, which has shown promising results in enhancing the semantic segmentation of 3D point clouds. The U-Next framework is a small but powerful network that is designed to extract features from point clouds and perform semantic segmentation. It is based on the U-Net architecture, which is a popular architecture used in image segmentation tasks. The U-Next framework consists of an encoder and a decoder, with skip connections between them to preserve spatial information. One of the key advantages of the U-Next framework is its ability to handle large-scale point clouds efficiently. It achieves this by using a hierarchical sampling strategy that reduces the number of points in each layer, while still preserving the overall structure of the point cloud. This allows the network to process large-scale point clouds in a more efficient manner, which is crucial for real-world applications. Another important aspect of the U-Next framework is its use of multi-scale feature fusion. This involves combining features from different scales of the point cloud to improve the accuracy of the segmentation. By fusing features from multiple scales, the network is able to capture both local and global context, which is important for accurately segmenting complex 3D scenes. Overall, the U-Next framework is a powerful tool for enhancing the semantic segmentation of 3D point clouds. Its small size and efficient processing make it ideal for real-time applications, while its multi-scale feature fusion allows it to accurately segment complex scenes. As the field of 3D point cloud semantic segmentation continues to grow, the U-Next framework is likely to play an increasingly important role in advancing this area of research.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值