3D分割之SAGA训练流程解读

最新推荐文章于 2024-09-20 18:03:36 发布

蓝羽飞鸟

最新推荐文章于 2024-09-20 18:03:36 发布

阅读量559

点赞数

分类专栏：源码解读2 文章标签： 3d 计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/level_code/article/details/139442931

版权

源码解读2 专栏收录该内容

13 篇文章 28 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细解读了3D分割算法SAGA的训练过程，涉及特征提取、SAM模型的使用、3DGS模型的语义特征增强以及训练中的优化策略。介绍了如何从图像和mask中提取特征，通过映射模型将特征降至低维空间，并进行平均池化处理。同时，文章还讨论了在训练过程中采用的损失函数和正则项，以及优化器的参数更新方式。

摘要由CSDN通过智能技术生成

训练之前，会先提取2种特征，

一种是每张图片的image encoding, 它的size是(64,64)，代表每个像素处的特征向量。这个向量用于特征匹配（选中的目标和每个像素的相似度）。
一种是SAM提取的所有mask（用于计算mask所在目标的特征向量）。

extract_features.py提取的是SAM模型predictor.set_image的image encoding (1,256,64,64)
extract_segment_anything提取的是SAM的generate产生的自动mask
这里保存每张图片所有mask, float形式，resize到(200,200), 原图是(1024,1024).
SAM用法：
predictor.predict预测的是含有prompt的mask, 而generate是自动产生所有mask.

训练3DGS的语义特征在traiin_contrastive_feature.py

3DGS模型的每个点增加语义特征
feature_dim=32
只不过Scene里面有一个gaussians还有一个feature_gaussians, 刚开始都是load scene_point_cloud.ply(3DGS)，后面只用feature_gaussians，gaussians会删除。

feature_gaussians里面的get_po