【点云处理】PointTransformerV1、V2、V3

已于 2025-04-09 12:05:21 修改
阅读量2.1k 收藏 35
点赞数 32
分类专栏： 论文解读 文章标签： 计算机视觉 人工智能
于 2025-01-12 15:50:46 首次发布
本文为博主原创文章，如需转载请联系博主授权。如果对博客文章有建议，可以联系邮箱zpf1900@foxmail.com
本文链接：https://blog.csdn.net/holly_Z_P_F/article/details/145092712
版权

文章目录

PointTransformerV1

ICCV 2021
paper:https://openaccess.thecvf.com/content/ICCV2021/papers/Zhao_Point_Transformer_ICCV_2021_paper.pdf

论文讲解：

这篇文章主要介绍了如何将transformer应用于点云处理。

Introduction

Introduction部分作者有提到关于transformer的优势：“ The transformer family of models is particularly appropriate for point cloud processing because the self-attention operator, which is at the core of transformer networks, is in essence a set operator: it is invariant to permutation and cardinality of the input elements. The application of self-attention to 3D point clouds is therefore quite natural, since point clouds are essentially sets embedded in 3D space.”

他认为transformer适合点云处理，因为其核心的自注意力机制本质上是一种集合操作，具有排列不变性和基数不变性，非常适合处理点云数据。这里解释一下：

  • 排列不变性：点云是无序的点集，点的排列顺序并不包含任何有意义的信息。Transformer 的自注意力机制天然具有排列不变性，因为它计算的是所有点对之间的关系，而不依赖于输入的顺序。这种特性使得 Transformer 非常适合处理点云数据
  • 基数不变性：点云中的点数量可能变化很大（例如，场景中的稀疏或密集区域）。自注意力机制可以处理任意大小的点集，因此对点数量的变化具有鲁棒性。这种灵活性对于处理真实世界中的点云数据非常重要，因为点云的密度和分辨率往往不一致。
    这个基数不变性，我个人认为它确实是transformer具备的，但是这不是独有的，卷积也可以处理不同大小的输入，所以其实卷积也具备基数不变性。如果说transformer与卷积相比在处理点云上的优势，我觉得更多的还是transformer对排列关系的鲁棒性。
    另外就是自注意力机制可以捕捉全局上下文信息，而卷积通常只能捕捉局部信息，这与其他领域从卷积发展到transformer的理由一样，点云并无特殊。
Related work

回顾了现有的点云处理方法，并将其分为以下几类：

1、基于投影的网络（Projection-based Networks）

  • 多视图投影：将3D点云投影到多个2D图像平面，然后使用2D卷积神经网络（CNN）提取特征，最后通过多视图特征融合生成最终表示。
  • 优点：可以利用成熟的2D CNN技术。
  • 缺点：投影过程中会丢失几何信息，且对投影平面的选择敏感。
  • 代表作：MVCNN（Multi-View CNN）[34]、TangentConv [35]

2、基于体素的网络（Voxel-based Networks）

  • 体素化：将3D点云量化为规则的体素网格，然后在体素网格上应用3D卷积。
  • 优点：可以利用3D卷积操作。
  • 缺点：体素化会导致几何细节丢失，且计算和内存开销较大。
  • 代表工作：VoxNet [23]、OctNet [29]

3、基于点的网络（Point-based Networks）

  • 直接处理点云：设计能够直接处理点云的深度学习模型，避免了投影或体素化带来的信息损失。
  • 优点：保留了点云的几何细节，计算效率较高。
  • 缺点：需要设计特殊的操作来处理无序点集。
  • 代表工作：
    • PointNet [25]：使用点级的MLP和池化操作来聚合特征。
    • PointNet++ [27]：在PointNet的基础上引入了层次化结构，增强了对局部几何的敏感性。
    • DGCNN [44]：基于图卷积的动态图CNN。
    • PointCNN [20]：通过特殊的操作对点云进行重新排序。
    • KPConv [37]：基于点云的连续卷积操作。

4、基于图的网络（Graph-based Networks）

  • 图结构：将点云表示为图结构，并在图上进行消息传递或图卷积操作。
  • 优点：能够捕捉点云中点与点之间的关系。
  • 缺点：图结构的构建和计算可能较为复杂。
  • 代表工作：
    • DGCNN [44]：在k近邻图上进行图卷积。
    • PointWeb [55]：在局部邻域内密集连接点。
    • SPG [15]：基于超点图的语义分割方法。

5、基于连续卷积的网络（Continuous Convolution Networks）

  • 连续卷积：直接在点云上定义卷积操作，避免了体素化或投影。
  • 优点：保留了点云的几何信息，适合处理不规则数据。
  • 缺点：卷积核的设计和计算可能较为复杂。
  • 代表工作：
    • PCCN [42]：将卷积核表示为MLP。
    • SpiderCNN [49]：使用参数化的多项式函数定义卷积核。
    • PointConv [46]：基于输入坐标构造卷积权重。

6、Transformer与自注意力机制（Transformer and Self-Attention）

  • 点云中的注意力机制 [48, 21, 50, 17]：一些工作尝试将注意力机制应用于点云处理，但通常是全局注意力，计算开销较大。
Point Transformer

在说本文的方法之前，作者先介绍了两种自注意力机制：
1、scalar attention：这个就是transformer中的标准的缩放点积注意力
在这里插入图片描述
这个公式可能看起来跟平常我们看到的自注意力机制公式有点不一样。

其中 X i X_i Xi​ 是输入的特征， φ ( ⋅ ) \varphi(·) φ(⋅), ψ ( ⋅ ) \psi(·) ψ(⋅))和 α ( ⋅ ) \alpha(·) α(⋅)分别表示特征变换（比如 MLP），那么对输入特征进行特征变化以后，也就是我们平常看到的transformer中的Q,、K、V

ρ ( ⋅ ) \rho(·) ρ(⋅)表示归一化操作，比如 softmax。

那这样看起来，就跟我们平常看到的transforme公式差不多一样了，区别就是里面还加了一个 δ \delta δ

δ \delta δ表示位置编码。
在这里插入图片描述
transformer论文中对于位置编码，是独立处理的。没有显式的位置编码函数，因为位置信息是通过独立的位置编码直接添加到输入特征中的。而这里的位置编码特征是嵌入到自注意力机制里面的（为什么这么做，后面作者有解释）

2、vector attention：

刚才说那那种标量注意力，计算得到的注意力权重 Q K T QK^T QKT是一个标量点积。

它有一个弊端，我们把计算过程拆开看就会发现。

注意力分数与Value进行计算的时候，如下图所示
在这里插入图片描述
由于我们现在是对点云数据进行计算，所以假设V代表n个点，每个点xyz三个坐标，故是n行3列，注意力权重为nxn

把这个矩阵乘法计算分步骤来看
在这里插入图片描述
你就会发现，在这个计算过程中，V中的第一个点（第一行xyz），只和权重0.1进行了相乘，换句话说，这个点只赋予了一个权重，就是0.1

点向量的三个通道没有区别，都直接乘以同一个权重值

也就是说：所有特征通道共享相同的注意力权重。

因此提出了另一种自注意力机制—向量注意力，其目的是为每个特征通道计算独立的注意力权重，而不是共享一个全局的标量权重。(其实不用了解前面那种注意力机制，现在基本上都用第二种方式）
在这里插入图片描述
如（2）式所示这里计算出来的注意力权重是NxD的，因此与Value是一样的。所以不用矩阵乘法，而是直接对应位置相乘。因此一个点的特征向量的每一个元素获得的权重是不相同的，这就是所谓的向量注意力。

本文就采用了向量注意力的方式来设计注意力层，公式如下：
在这里插入图片描述
式中的 X ( i ) X(i) X(i)是点 X i X_i Xi​的局部邻域（根据k-最近邻（KNN）选定）。

对于一个点 X ( i ) X(i) X(i)，选出他的k近邻后，每一个邻居 X j X_j Xj​都与 X i X_i Xi​进行一次向量注意力计算，最终将j个向量自注意力求和，就是输出特征 y i y_i yi​。

在最内层，使用的是减法，表示距离关系。

这就是本文设计的自注意力机制。
在这里插入图片描述

Transformer中作者指出了position coding可以通过两种方式得到，一种是通过可训练的网络得到，另一种则是按照给定的公式计算得到。transformer采用了后者，即传统的正余弦编码方案。

本文中，作者解释由于3D点云本身的相对位置关系就可以作为很好的编码，因此采取前一种方式。

在本文中，位置编码是基于点的相对位置计算的，并通过一个可训练的MLP进行映射。（就是做减法然后过一个MLP）
在这里插入图片描述
这种相对位置编码的优势：
1、能够直接捕捉点与点之间的几何关系（如距离、方向等），从而增强模型对局部结构的感知能力。
2、可训练性：通过使用可训练的MLP，位置编码可以适应点云数据的特性，并在训练过程中优化。

本文的Point Transformer中，位置编码被同时添加到注意力生成分支和特征变换分支中。
在这里插入图片描述
把这个注意力层，前后各加一个线形层，外加一个残差连接。就是一个transformer block
在这里插入图片描述
这是本文设计的上采样和下采样模块
在这里插入图片描述
对于分割任务和分类任务作者设计了两个输出部分：

对于分类任务，不包含上采样部分，在经过四次下采样，将点云分辨率减小到N/256之后，直接执行全局平均池化，得到一个长度为512的向量，这就是经过之前point transformer block和transition down之后提取到的点云全局特征向量，最终将这个特征向量输入到最后的MLP中，输出分类标签。

对于分割任务，经过上下采样过程后，得到尺寸为N×32的矩阵，矩阵的一个行向量都是一个点的特征向量，一共包含N个点的特征向量。将这个矩阵输入到最后的MLP中，输出为每一个点的分割标签

参考：https://zhuanlan.zhihu.com/p/681682833

PointTransformerV2

NeurIPS 2022
paper:https://arxiv.org/pdf/2210.05666
code:https://github.com/Pointcept/PointTransformerV2

对比V1有三处改进：

1、分组向量注意力GVA
在V1中使用了向量注意力，矩阵Value中每一个向量的所有通道的权重值是不同的，这样就导致了参数的增加。

标量注意力的方法虽然参数少，但是可能无法获得向量中通道之间的关系，向量注意力的方法却可以关注到向量中通道之间的关系，调整每个通道的权重，但随之而来的问题就是参数数量的大量增加。

所以V2提出了分组的方法。将Value矩阵中每个向量的通道均匀的分成 g 组(1 ≤ g ≤ c)，并且在每组内共享同一个权重参数。这样减少计算量增加效率。
在这里插入图片描述

2、位置编码

比原来多了一个这个
在这里插入图片描述
由于分组向量注意力限制了注意力机制的容量，作者通过将一个额外的乘子 δ m u l \delta_{mul} δmul​ 添加到关系向量中来加强位置编码，该乘子侧重于学习复杂的点云位置关系

3、分区池化

之前的方法在采样阶段，使用最远点采样（Farthest Point Sampling, FPS）或网格采样（Grid Sampling）来为后续编码阶段保留采样点。

对于每个采样点，执行邻域查询以从邻近点聚合信息。

在这些基于采样的池化过程中，查询点集在空间上是不对称的，因为每个查询集之间的信息密度和重叠是不可控的。

为此，作者提出基于分区的池化方法。
在这里插入图片描述
池化的时候，将整个空间划分为相同大小且不重叠的区域，对每个区域内点的信息进行MaxPooling，采样点的坐标为区域内所有点的平均坐标。
在这里插入图片描述

上采样的时候，直接复制
在这里插入图片描述
其网络的整体结构，跟V1大致一样。主要的改进点就是这三个地方。

PointTransformerV3

CVPR 2024
paper:https://arxiv.org/pdf/2312.10035
code:https://github.com/Pointcept/PointTransformerV3

V3没有继续在注意力机制方面寻求创新。而是专注于保持点云背景下准确性和效率之间的平衡。

作者提出v3的思想来源（FlatFormer、OctFormer）：
Zhijian Liu, Xinyu Yang, Haotian Tang, Shang Yang, and Song Han. Flatformer: Flattened window attention for ef f icient point cloud transformer. In CVPR, 2023.
具体来说，它们开创了一种与传统点云处理方法不同的路径。这些方法通过将无结构、不规则的点云数据根据特定的模式进行排序，转换成结构化的序列，同时保留了空间近邻性。

1、点云序列化–空间填充曲线

比如Z-order序列化（Z-ordering）是一种用于多维数据的方法，它可以将多维空间中的点映射到一维空间中，同时保持点之间的相对邻近性。在处理点云数据时，Z-order序列化可以有效地组织数据以优化存储和访问。
比如Hilbert曲线，由David Hilbert提出。与Z-order曲线相比，Hilbert曲线更好地保持了空间中点之间的邻近关系，这意味着如果两个点在空间中是相邻的，那么在通过Hilbert曲线映射到一维序列后，这两个点仍然会保持较近的位置。Hilbert曲线通过迭代生成，每一次迭代都会增加曲线的细节和复杂度。它在多种应用中被用来改善数据的局部性，从而提高存储和查询效率。
在这里插入图片描述

2、序列化编码

将点的位置转换为一个整数序列，反映其在给定空间填充曲线中的顺序。
具体来说，通过将点的位置投影到一个离散空间，并使用空间填充曲线的逆映射 φ − 1 φ^{-1} φ−1来生成序列化代码
在这里插入图片描述
3、序列化注意力

先前的point transformers采用了向量注意力vector attention是因为缩放点积注意力有一些缺点。
现在使用了序列化的点云数据后，点云序列化的结构化特性，让作者选择重新审视并采用高效的窗口window和点积注意力机制作为基础方法。
将点分组为不重叠patch并在每个单独patch内执行注意力的机制。
这个分组是根据序列化的点云数据排序后分组的。如下图所示。八个点一组，分组的时候按照顺序，0-7，8-15等等
最后的不足八个，则进行填充。
在这里插入图片描述
与KNN相比，这种方法可能会牺牲一些邻居搜索精度，但效率和可扩展性的提高远远超过邻域精度的微小损失

在这里插入图片描述
（a）根据从特定序列化模式派生的顺序对点云进行重新排序。 （b）通过借用相邻patch的点来填充点云序列，以确保它可以被指定的patch大小整除。
4、Patch之间的交互 Patch interaction
在这里插入图片描述
Shift Dilation策略通过在序列化点云中以固定步长移动补丁来实现扩张效果。这种方法类似于卷积神经网络中的膨胀卷积，可以增加模型的感受野，使其能够捕捉到更广泛的空间关系。
Shift Patch策略受到图像处理中窗口滑动注意力机制的启发。在这种策略中，补丁的位置在序列化点云中进行位移，以最大化不同补丁之间的交互。
5、增强条件位置编码
xCPE，它通过在注意力层之前直接插入一个稀疏卷积层来实现，该层具有跳跃连接（skip connection）。

整体网络结构如下所示：
在这里插入图片描述

点云检测之Point Transformer V2: Grouped Vector Attention and Partition-based Pooling
Blabala的博客
05-26 1797
在2021年发表了一篇名为Point Transformer的论文，在这篇论文中，分析了 Point Transformer 的局限性，并提出了强大而高效的 Point Transformer V2 模型。这篇论文再Point Transformer基础之上进行了优化，提出了Grouped Vector Attention、Position Encoding Multipler和Partition-based Pooling。
Android 对APK进行v1+v2+v3签名
Andrio的博客
08-07 7290
在AndroidStudio中，我们可以很方便的对apk进行打包与签名，也可以选择V1或V2签名；然而，有些时候（比如反编译重新打包、apk加固后...），我们却需要直接对APk进行签名. 在Android7.0引入了jdk7才支持的V2签名，这一签名不需要对所有文件进行摘要计算、且增加了APK 签名分块并且该分块有特定格式，所以，使用V2签名后，apk的安装速度与完整性保障都有不错的提升；然而，由于需要兼容旧版本，V1签名不能完全去掉，现多使用v1+v2(+v3）签名形式。 V1签名（ja...
point transformer v3复现及核心代码详解
weixin_50557558的博客
09-11 6938
point transformer v3复现及核心代码详解
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool
Point Transformer V2: 分组向量注意力和基于分区的池化 超详细解析
晨的博客
03-21 2160
​ 首次提出了群体向量注意力 继承了可学习权重编码和多头注意力机制，提出了一种基于分组权值编码层的分组向量注意力。同时引入额外的位置编码乘子来增加位置编码信息。此外，设计了新颖的轻量级的基于分区的池化方法，以实现更好的空间对其和更有效的采样。 V2在V1的基础上，改进包括：分组向量注意力、位置编码乘数、基于分区的池化。
Point Transformer V3: 更简单，更快，更强 详细解读
晨的博客
03-22 5537
主题: "更简单，更快，更强大"，v3版本在保持高性能的同时，着重优化了模型的简洁性和计算效率。 核心改进: 简化设计: v3版本对Point Transformer层进行了简化，减少了模型复杂度，提高了训练和推理速度。 效率提升: 引入了新的优化算法和技术，如高效的点采样和特征提取方法，显著提升了处理速度。 性能增强: 即便在简化模型结构的同时，v3版本通过更加精细的注意力机制和改进的网络架构，依然实现了在多个3D点云处理任务上的性能提升。
(CVPR) Point Transformer - 详细解读
晨的博客
03-19 4085
Point Transformer是一种深度学习模型，专门设计来处理点云数据。点云是3D空间中的一组点，通常用于表示物体的外形或空间的结构。这种数据格式在计算机视觉、自动驾驶汽车、机器人导航等领域非常重要。与其他数据类型（如图像）相比，点云的处理更为复杂，因为它是无序的，并且点与点之间的关系不像像素那样规则。
论文阅读Point Transformer V2: Grouped Vector Attention and Partition-based Pooling
canmengw的博客
04-21 1851
相比于传统的最大池化或平均池化，基于划分的池化将小块划分成多个子块，然后对每个子块进行独立计算，最后将它们组合起来得到整个小块的特征表达。在PCT的基础上进一步改进的点云处理方法，通过分组向量注意力(Grouped Vector Attention)和基于划分的池化机制，提高了对点云特征的提取和聚合能力，并在轻量级上有了新的突破。相比于传统的向量注意力，分组向量注意力将向量拆分成多个小块，然后对每个小块进行独立计算，从而降低了计算复杂度。4.点云解码:对整个点云的特征进行解码，得到点云的分类或分割结果。
【点云处理之论文狂读前沿版3】——Point Transformer
yuanmiyu6522的博客
05-07 3466
Point Transformer摘要1. 引言 摘要 研究自注意力网络在三维点云处理应用上的效果怎么样。 为点云设计了自注意力层，并构造了自注意力网络。 可以用于语义场景分割、目标部分检测和目标分类。 1. 引言 Transformer很适合处理点云，因为 ...
点云深度学习系列博客(六): Point Transformer方法概述
热门推荐
02-10 1万+
基于注意力机制的深度学习模型在起初设计时，针对的是NLP问题。包括词元分析，翻译等语言处理任务，注意力机制能够训练超大规模数据，并建立学习模型，获得显著的性能提升。鉴于注意力机制在NLP任务中的空前成功，视觉领域也尝试引入注意力机制，著名工作包括VIT [1] 和Swin Transformer [2]。对于点云数据处理，一些基于Transformer模型 [3][4] 的工作也被提出。本文以文献 [3] 为基础，概述在点云数据处理任务中引入Point Transformer的具体思路。
探索点云识别的未来 —— Point Transformer V2 深度解析与应用实践
gitblog_00010的博客
06-10 718
探索点云识别的未来 —— Point Transformer V2 深度解析与应用实践 去发现同类优质开源项目:https://gitcode.com/ 在深度学习的浪潮中，点云处理正成为计算机视觉领域内不可或缺的一部分。今天，我们将一起探索一款前沿开源项目——Point Transformer V2，它是一套轻量级且易于使用的代码框架，专为点云识别研究而设计，支持室内与室外点云数据集，以及多种骨...
GhostNet的不同版本（v1、v2、v3）实现的人工智能图像分类源码
08-28
GhostNet的不同版本（v1、v2、v3）实现的人工智能图像分类源码；GhostNet的不同版本（v1、v2、v3）实现的人工智能图像分类源码；GhostNet的不同版本（v1、v2、v3）实现的人工智能图像分类源码；GhostNet的不同版本...
KinectV2:使用Kinect V2的3D点云
05-18
使用Kinect V2的3D点云 libfreenect2用于与kinect点云库进行接口，该库用于从图像中获取点提示并使用点云库进行可视化 框架抓取器的功能在Kinect2Grabber类中存在。将抓取器/ Kinect2Grabber构建为 采集器/ Kinect2...
MobileNet v1&v2&v3 创新点及结构简述
qq_43307074的博客
10-29 4167
MobileNet v1&v2&v3的创新点及结构简述
面试：Android 签名校验机制 v1、v2、v3
王温暖的博客
11-13 2647
2. 对MAINFEST.MF整个文件做一次算法（数据摘要+Base64编码），存放到CERT.SF文件的头属性中，在对MAINFEST.MF文件中各个属性块做一次算法（数据摘要+Base64编码），存放到一个属性块中。：由于开发商可能通过使用相同的package name来混淆替换已经安装的程序，以此保证签名不同的包不被替换。2. 保证信息传输的完成性：签名对于包中的每个文件进行处理，以此确保包中内容不被替换。3. 对CERT.SF文件做签名，内容存档到CERT.RSA中。
Point Transformer V3适合小白，看完就懂
博客简介
03-23 8559
PTv3设计原理介绍
【论文解读】Point Transformer
lwk___123的博客
02-03 1316
自注意网络已经彻底改变了自然语言处理，并在图像分析任务（如图像分类和对象检测）方面取得了令人印象深刻的进展。受这一成功的启发，我们研究了自注意网络在三维点云处理中的应用。我们为点云设计了自注意层，并使用这些层来构建用于语义场景分割、对象部分分割和对象分类等任务的自注意网络。我们的Point Transformer设计改进了先前跨域和任务的工作。
point transformer笔记
luojio的博客
06-14 811
如何在点云中引入注意力机制 首先我们知道self-attention最主要的有k,q,v三个值，而点云又自带position，故只需要找出点云的k，q，v，然后按照self-attention的模式来计算重要程度即可。 文章作者就提出了这样一个公式，其中X为该点的k个邻居，xj为第j个邻居，而ϕ(xi)为该点xi的q值，ψ(xj) 为邻居xj的k值，两者相减再加上δ（位置编码），得到的值进行一个mlp（即γ函数）得到attention中的权重，再利用ρ（例如softmax）进行归一化处理，而α(xj)为v
李飞飞：计算机视觉，教机器看懂世界
最新发布
Code_流苏：在代码中寻诗意
04-27 850
《计算机名人堂》第三十二篇：李飞飞
point transformerV3改代码
03-12
### 修改 Point Transformer V3 的源代码实现自定义功能 为了修改 `Point Transformer V3` 并实现特定的功能，可以考虑以下几个方面： #### 1. 自定义 Stem 层 如果希望更改模型的初始处理部分，在文件 `pointcept/models/point_transformer_v3/point_transformer_v3m1_base.py` 中找到 `self.stem` 定义的位置。当前该层由卷积操作、批量归一化 (Batch Normalization, BN)，以及 GeLU 激活函数组成[^1]。 要调整此部分，可以根据需求引入不同的初始化特征提取方法或者改变现有组件参数配置。例如增加更多的卷积层数量或是选用其他类型的激活机制来替代GeLU。 ```python import torch.nn as nn class CustomStem(nn.Module): def __init__(self): super(CustomStem, self).__init__() # 增加更多卷积层或其他变换 self.conv = nn.Conv1d(in_channels=..., out_channels=..., kernel_size=...) self.bn = nn.BatchNorm1d(num_features=...) self.act = nn.ReLU() # 更改激活函数 def forward(self, x): return self.act(self.bn(self.conv(x))) ``` #### 2. 编码器结构调整 对于编码阶段 (`encoder`) 的改动，则需深入到具体架构内部进行分析并实施相应变化。这可能涉及到添加新的子模块如注意力机制或改进现有的结构设计以适应特殊应用场景的需求。 可以通过继承原有类的方式创建一个新的版本，并在其基础上加入额外特性；也可以直接编辑原文件内的逻辑流程来进行更彻底的改造。 #### 3. Backbone 替换与增强 当计划大幅度变更骨干网路时，可以从多个角度出发思考解决方案，比如集成先进的注意力模块、采用即插即用型组件、重构特征金字塔网络(FPN)、尝试不同种类的激活单元或者是完全替换成已经验证有效的预训练模型作为基础框架的一部分[^2]。 这种程度上的定制通常意味着需要重新评估整个系统的性能表现，并确保新旧部件之间能够良好协作而不影响整体效率。 #### 4. SPP 系列应用 空间金字塔池化(Spatial Pyramid Pooling, SPP)技术及其变体也是优化点云数据处理的有效手段之一。通过引入此类算法，可以在一定程度上提高模型的空间不变性和多尺度表征能力。 综上所述，针对 `Point Transformer V3` 进行个性化开发涉及到了解其核心组成部分的工作原理，并基于实际项目背景做出合理的技术选型决策。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

1900_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值