【1月30日至2月6日组会汇报学习内容汇总】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档



一、汇报过程中讲到完全监督相比于弱监督标注的数据有很多冗余性,需要找到论文或者实验中所对比的数据。不同比例数据的精度比较?

实验前用了完全监督常用的模型结构来分析在不同比例的标注点下,实验结构指标平均交并比的下降情况,得出结论RandLA-Net不易受影响,影响较小,故论文中采用此模型结构进行实验,但并不代表在其他模型中无法得出此结论。

尽管点注释的比例从100%显著下降到1%,但所有基线的性能仅略有下降(低于4%)。这清楚地表明,在简单的随机注释策略下,密集的注释实际上是不必要的,以获得可比且有利的分割精度。一旦注释点低于0.1%,所有基线的性能都会显著下降。这一临界点表明,保持一定量的训练信号对弱监督也至关重要。

二、弱监督是标注了部分点,那sqn这篇论文结构中,部分监督的点是如何传播到其他点的?思想在哪里?部分标注的数据是如何传播到未标注的数据,去实现有监督的学习。

结合论文中的叙述,主要从以下方法进行展开:
(1)局部特征提取:首先,使用一个点局部特征提取器(如RandLA-Net的编码器)对整个点云进行编码,得到一系列层次化的局部特征表示。这些特征表示捕捉了点云中每个点的局部结构信息。
(2)点邻域查询:对于每个查询点(即部分标注的点),SQN会搜索其在不同层次特征表示中的最近邻点。这些最近邻点与查询点共享相似的局部特征,因此可以认为它们具有相似的语义信息。
(3) 特征插值:通过插值方法(如三线性插值),将查询点及其邻域内的点的特征合并,形成一个代表该局部区域的综合特征向量。这个向量包含了查询点及其周围点的语义信息。
(4)语义预测:将这个综合特征向量输入到多层感知器(MLP)中,MLP根据这些特征来预测查询点的语义类别。由于这个特征向量包含了多个层次的局部信息,它能够更全面地反映点云的语义内容。
(5) 反向传播:在训练过程中,只有标注点的预测结果会被用来计算损失并进行反向传播。然而,由于点邻域查询机制,这些标注点的信息被传播到了整个点云,使得模型能够学习到更广泛的语义模式。
(6) 迭代优化:随着训练的进行,模型会不断优化其参数,以更好地利用这些局部信息来预测未标注点的语义。这个过程类似于有监督学习,但是它依赖于模型对局部语义的推断,而不是直接的标注信息。

三、弱监督的核心思想从很少的语义标签到整体的预测,思想是怎么样的?

在3D点云的语义分割任务中,这一思想可以概括为以下几个关键步骤:
(1)利用局部信息:由于3D点云中的点通常在局部区域内具有相似的语义特征,弱监督学习方法会利用这种局部一致性。例如,如果一个区域内的点被标注为“墙壁”,那么这个区域内的其他点很可能也是“墙壁”。
(2)数据增强:通过随机选择少量点进行标注,然后利用这些点的标签信息来推断周围未标注点的类别。这种方法可以扩大训练信号的影响范围,使得模型能够从有限的标注数据中学习到更广泛的语义信息。
(3)自适应学习:在训练过程中,模型会尝试学习如何从稀疏的标注中提取有用的信息,并适应未标注数据。这可能涉及到自适应地调整模型的参数,以便更好地利用未标注数据。
在SQN(Semantic Query Network)的上下文中,这些思想被具体实现为一个点特征查询网络,它通过查询局部区域内的点特征,并将这些特征汇总起来进行语义预测。这种方法允许模型在只有很少的标注点的情况下,也能够有效地学习到整个点云的语义信息,并实现高精度的语义分割。

四、S3DIS数据集的简单介绍理解?

S3DIS( Stanford Large-scale 3D Indoor Spaces)数据集是由斯坦福大学创建的一个大规模室内场景3D点云数据集,主要用于室内场景的语义分割研究。这个数据集包含了多个室内环境的3D扫描,如办公室、公寓、教室等,每个场景都包含了详细的点云数据和对应的语义标签。
以下是S3DIS数据集的一些关键特点:
多样性:数据集涵盖了多种类型的室内环境,包括住宅、办公室、教室等,提供了丰富的场景多样性。
大规模:数据集包含了大量的点云数据,每个场景的点云数量可达数百万甚至更多,这为训练深度学习模型提供了充足的数据。
高精度:点云数据是通过高精度的激光雷达(LIDAR)扫描仪获取的,保证了数据的质量和准确性。
详细标注:每个点云数据都附有详细的语义标签,这些标签涵盖了多种室内物体类别,如墙壁地板、家具等,有助于模型学习区分不同的室内元素。
分制任务:S3DIS数据集主要用于3D点云的语义分制任务,即预测点云中每个点的类别。这对于自动驾驶、机器人导航、增强现实等领域具有重要意义。
研究价值:由于其规模和质量,S3DIS数据集成为了3D点云处理领域的一个重要基准,许多研究工作都会在该数据集上进行评估,以展示其方法的有效性
S3DIS数据集对于推动3D点云处理技术的发展,特别是在室内场景理解和语义分割方面,起到了重要作用。它为研究人员提供了一个标准化的平台,以比较和测试不同的算法和模型。
在这里插入图片描述

五、论文是如何跑数据集的?

在常用基准上评价了sqn的性能,分别在S3DIS,ScanNet,Semantic3D上进行了评估。
为了验证我们的SQN的多功能性,我们在具有不同密度和质量的四点云数据集上进一步评估了我们的SQN,包括SensatUrban[23]、Toronto3D[58]、DALES[68]和SemanticKITTI[3]。
在这里插入图片描述

六、理解了论文主要代码的含义,论文和代码结合理解,环境配置,运行。

在这里插入图片描述
在这里插入图片描述
对数据集中主要类别进行编号,多次重复进行训练。随着训练的进行,模型会不断优化其参数,以更好地利用这些局部信息来预测未标注点的语义。

from os.path import join, dirname, abspath, exists
from SQN import Network
from tester_S3DIS import ModelTester
from helper_ply import read_ply
from tool import ConfigS3DIS as cfg
from tool import DataProcessing as DP
from tool import Plot
import tensorflow as tf
import numpy as np
import time, pickle, argparse, glob, os, shutil


---
在导入各种工具,引用包的时候会出现较多问题,比如版本不一样,安装失败,框架等等,这里容易遇到较多问题。

  • 24
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值