point transformer

已于 2023-01-28 11:35:42 修改
阅读量329 收藏 1
点赞数
文章标签： transformer 深度学习 自然语言处理
于 2023-01-18 20:53:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chenyixun2/article/details/128708913
版权

感觉主要在于 point transformer layer层的设计和整个网络层的设计

point transformer layer的设计

 

     文章作者就提出了这样一个公式，其中X为该点的k个邻居，xj为第j个邻居，而ϕ(xi)为该点xi的q值，ψ(xj) 为邻居xj的k值，两者相减再加上δ（位置编码），得到的值进行一个mlp（即γ函数）得到attention中的权重，再利用ρ（例如softmax）进行归一化处理，而α(xj)为value值，加上位置编码后再与之前的值相乘就得到了点的重要程度。

MLP学习：包含关系

归一化处理和简化：减少训练消耗和达到更好的训练效果

网络架构


 

transformer块

transformer down

 transformer up

针对解决的问题

注意力机制的好处：自注意力本质上是一个集合操作符，位置信息作为元素的属性提供，这些元素被作为集合处理。由于3D点云本质上是具有位置属性的点集，因此自注意机制似乎特别适合于这类数据。

证明了位置编码在大尺度点云点云理解中的重要性。

为什么这样设计网络

点云的无序性和无规则性 天生的适合自注意力机制 将邻域点和中心点进行减法 ，提取出该特征来 送到MLP和非线性层 进行自注意力的池化，可以得到不同的邻域对于中心点的权重，实现自注意力机制，从而能够得到局部几何结构，由于这种机制是集合性质处理的，所以适合点云这种无序的数据。

如有不对 请多多指教

官方陈奕迅
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
transformer变体
u013596454的博客
09-28 1368
1. Introduction  在这篇博客，我们详细的介绍了transformer的结构，也介绍了transformer还存在的问题，接着本篇文章将会介绍关于transformer的多种改进，让我们了解一下更加丰富多彩的transformer结构。 2.各种变体 2.1 Universal transformers(UT)  提出于2018年，是transformer的后续工作，它的提出是为了解决transformer固有的非图灵完备性及缺少conditional computation的问题。  UT与
transformer
u013596454的博客
09-28 227
1. Introduction ​ 在transformer模型问世以前，序列建模任务最常用的模型就是sequence-to-sequence了，尤其是随着各种attention机制的加入，attention-based seq2seq模型获得了更好的性能从而得到了更广泛的应用。 ​ 不过RNN也有自己的问题： 无法并行，导致训练偏慢 句间依赖 序列问题其实包括了三种依赖：源句子内部依赖 ，目标句子内部依赖，源句子与目标句子之间的依赖。这三种依赖关系对于从源句子到目标句子的转换都十分重要，而seq2
基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar
11-17
【资源说明】 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！有问题请及时沟通交流。 2、适用人群：计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途：项目具有较高的学习借鉴价值，也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行，或者热爱钻研，亦可在此项目代码基础上进行修改添加，实现其他不同功能。 欢迎下载，沟通交流，互相学习，共同进步！
【三维点云】Point Transformer核心代码详细注释（自学记录）
controlourself的博客
04-17 2633
Point Transformer是一种基于注意力机制的点云处理方法。给定一个输入点云，Point Transformer将点云中每个点的位置信息和特征信息作为输入，然后通过一个带有多头注意力机制的Transformer模型来学习一个新的点云表示。通过 MLP 与位置编码引入了空间信息，并利用基于注意力机制的 Transformer 模型实现了关系学习任务，能够自适应地利用输入的局部点云信息学习全局特征表示。
[实验bug记录]Point Transformer：/dev/shm
qq_41181679的博客
07-16 87
经查询，/dev/shm这个目录是linux下一个利用内存虚拟出来的一个目录，这个目录中的文件都是保存在内存中，而不是磁盘上，而/dev/shm的容量默认最大为内存的一半大小，而我当初只给ubuntu分配了16g的内存，因此shm目录只有8g的容量，而s3dis数据集有14g多的大小，因此，需要将该目录调大。方法1为一次性设置，当重启系统后，该目录会重新变为默认大小。查看该文件夹的属性发现已经没有剩余空间，所有空间都被占用。如果文件中有这行可以直接修改，没有可以在末尾直接添加即可。4）查看修改后的大小。
训练 fast point transformer
蓝羽飞鸟的博客
08-23 1244
配置环境，训练fast point transformer
Point Transformer - Pytorch.zip
04-12
点变换器（Point Transformer）是一种基于Transformer架构的三维点云处理方法，主要应用于3D几何理解和计算机视觉任务，如3D对象分类、分割等。在PyTorch框架中实现Point Transformer，可以充分利用其灵活性和易用性...
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
安装$ pip install point-transformer-pytorch用法import torchfrom point_transformer_pytorch import PointTransformerLayerattn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_...
基于Pytorch复现Point-Transformer，用于ShapeNet数据集点云分割
最新发布
04-25
基于Point Transformers复现点云分割任务 ## 准备数据： 使用连接下载 **ShapeNet** 数据集 ## 训练： ```bash python train.py ...| Models | Accuracy | cat.mIOU...| Point Transformer (paper) | None | 0.837 |
点云分割-基于Pytorch实现Point-Transformer用于ShapeNet数据集点云分割-优质项目实战-训练.zip
02-18
在这个项目中，我们将探讨如何利用PyTorch框架实现一个基于Point-Transformer的模型，来对ShapeNet数据集进行点云分割。ShapeNet是一个大规模的、结构化的3D形状数据库，广泛应用于机器学习和计算机图形学研究。 ...
【点云处理之论文狂读前沿版3】——Point Transformer
yuanmiyu6522的博客
05-07 3119
Point Transformer摘要1. 引言 摘要 研究自注意力网络在三维点云处理应用上的效果怎么样。 为点云设计了自注意力层，并构造了自注意力网络。 可以用于语义场景分割、目标部分检测和目标分类。 1. 引言 Transformer很适合处理点云，因为 ...
Point Cloud Transformer的pytorch代码实现
m0_55038143的博客
03-15 3642
PCT的pytorch实现
点云深度学习系列博客(六): Point Transformer方法概述
02-10 5918
基于注意力机制的深度学习模型在起初设计时，针对的是NLP问题。包括词元分析，翻译等语言处理任务，注意力机制能够训练超大规模数据，并建立学习模型，获得显著的性能提升。鉴于注意力机制在NLP任务中的空前成功，视觉领域也尝试引入注意力机制，著名工作包括VIT [1] 和Swin Transformer [2]。对于点云数据处理，一些基于Transformer模型 [3][4] 的工作也被提出。本文以文献 [3] 为基础，概述在点云数据处理任务中引入Point Transformer的具体思路。
基于MindSpore的PointTransformer代码实现
sh4175515的博客
06-20 448
作者借鉴了在自然语言处理领域取得巨大成就的Transformer模块，将其应用于三维点云处理领域的目标检测和语义分割。Point Transformer 模型框架如下图所示。本文主要设计了Transformer、TransitionDown和TransitionUp模块，并结合MLP在ModelNet40和ShapeNet数据集上取得了很好的效果。Transformer模块促进局部特征向量之间的信息交换，为所有数据点生成新的特征向量作为输出，并考虑特征向量的内容及其在三维空间中的分布。
「论文阅读」Point Transformer（ICCV_2021_paper_Zhao）
小麋鹿跑了的博客
02-13 7986
作者提出，Transformer模型特别适合于点云处理，因为自注意力是Transformer的核心，本质上是一个集合算子：它对输入元素具有顺序不变性和数量不变性，因此，将自注意力机制用于点云是自然而然的，因为点云本质上是嵌入在3D空间的集合。 我们将这种直觉具体化，并开发了一个用于3D点云处理的自注意层。 该文章的主要贡献在于： 1.为点云处理设计了一个表达能力非常强的Point Transformer Layer。该层具有顺序不变性和数量不变性，因此天生适合点云处理。
Point Transformer 学习笔记
W1995S的博客
07-19 915
https://blog.csdn.net/qq_43310834/article/details/113809360 https://bbs.cvmart.net/articles/4560/vote_count https://zhuanlan.zhihu.com/p/337603099 摘要 自注意力网络彻底改变了自然语言处理，并且在图像分析任务（例如图像分类和目标检测）方面取得了令人瞩目的进步。受此启发，我们研究了自注意力网络在3D点云处理中的应用。我们为点云设计了自注意层，并使用它们构建用于语义
【计算机视觉】简述对Point Transformer的理解
weixin_48845174的博客
03-16 3824
最近对看完RandLA-Net之后，对其里面LFA模块的Attentive Pool模块比较感兴趣，这一模块，对LocSE提取到的邻域+全局特征进行一下自注意力加权，聚合特征同时并且将点云中比较重要的特征给重点加权出来，其实很多不管是点卷积的文章还是基于点的文章，都是先进行采样之后邻域搜索，然后利用不同的方法聚合特征（一般都会学习邻域点和中心点之间的特征关系），今天看完了Point Transformer这篇文章，感觉很多网络的结构都是类似的，他们都是先聚合特征（使用不同的方法），并且解决点云的无序性和不规
【论文阅读】Point Transformer解读
毛毛的博客
08-23 7860
文章目录前言摘要1.介绍2.相关工作3.Point Transformer3.1.Background3.2. Point Transformer Layer3.3. Position Encoding3.4. Point Transformer Block3.5. Network Architecture4. Experiments5.总结 前言 1. 为什么要做这个研究？ 探究Transformer在点云处理中的应用。 2. 实验方法是什么样的？ 在场景分割中采用了U-net结构，包含5个编码器和5
Point Transformer
12-13
Point Transformer是一种用于点云数据处理的神经网络模型，它是在Transformer模型的基础上进行改进得到的。与传统的点云处理方法相比，Point Transformer具有更好的性能和更高的效率。下面是Point Transformer的一些特点和使用方法： 1. Point Transformer使用Transformer模型中的自注意力机制来处理点云数据，可以有效地捕捉点云数据中的局部和全局特征。 2. Point Transformer使用了一种新的位置编码方法，可以更好地处理点云数据中的位置信息。 3. Point Transformer还使用了一种新的点云采样方法，可以更好地处理不同密度的点云数据。 4. Point Transformer的使用方法与其他神经网络模型类似，可以使用Python中的PyTorch库进行实现。 下面是一个使用Point Transformer处理点云数据的例子： ```python import torch from point_transformer_pytorch import PointTransformerLayer # 创建一个Point Transformer层 attn = PointTransformerLayer(dim=128, pos_mlp_hidden_dim=64, attn_mlp_hidden_dim=64) # 定义一个点云数据 points = torch.randn(16, 1024, 3) # 使用Point Transformer处理点云数据 output = attn(points) # 输出处理后的点云数据 print(output.shape) # 输出：torch.Size([16, 1024, 128]) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值