点云检测之PCT: Point Cloud Transformer

已于 2024-05-24 16:52:57 修改
阅读量1.8k 收藏 30
点赞数 23
分类专栏： 论文阅读 点云检测 文章标签： transformer 深度学习 人工智能
于 2024-05-22 21:44:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Blabala/article/details/139100958
版权

PCT: Point Cloud Transformer是2021年清华大学发表在CVMJ上的一篇论文
论文地址 ： PCT: Point Cloud Transformer

文章目录

前言

  近些年在NLP领域Transformer越来越火，在CV领域也有人尝试将Transformer应用于图像视觉任务，相较于流行的卷积神经网络具有更好的性能，典型的如目标检测领域的DETR等。关于Trandformer和DETR的解读可以参考沐神的论文精读视频：Transformer论文逐段精读【论文精读】、DETR 论文精读【论文精读】
  受到Transformer在视觉和NLP任务中成功的启发，这篇论文提出了一种基于Transformer用于点云学习的框架PCT。

一、PCT

最低0.47元/天 解锁文章
「论文阅读」PCT：Point Cloud Transformer
小麋鹿跑了的博客
02-13 4941
目录 PCT的点云处理 编码器（Encoder）： 物体分类 语义分割 法线估计 Naive PCT SPCT 全PCT 受Transformer在视觉和nlp任务方面的成功启发，我们基于传统Transformer的原理，提出了一个用于点云学习的新框架PCT。PCT的核心思想是利用Transformer固有的顺序不变性，避免了点云数据顺序的定义，并通过注意机制进行特征学习。 该文章提出的PCT可以处理的任务有物体分类、语义分割和法线估计。 针对点云处理任务，PCT做出的主要调整如下：
【3D目标分类】PCT：Point Cloud Transformer
毛毛的博客
07-06 1958
文章目录前言摘要1.介绍2.相关工作3.Transformer for Point Cloud Representation3.1. Point Cloud Processing with PCT3.2 Naive PCT3.3. Offset-Attention3.4. Neighbor Embedding for Augmented Local Feature Representation4.结果4.1. Classification on ModelNet40 datase5.总结 前言 1. 为
PCT: Point Cloud Transformer
myl1992的专栏
06-27 4237
PCT是基于Transformer的，它在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕获点云中的局部上下文，我们通过支持最远点采样和最近邻搜索来增强输入嵌入。......
《论文阅读》PCT: Point Cloud Transformer
未知丶的博客
02-19 5102
留个笔记自用 PCT: Point Cloud Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 跟另外一篇Point transformer的说法非常相似，将
3D点云-CVMJ2021-PCT: Point Cloud Transformer
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
09-18 1160
本篇论文介绍Transformer在3D点云领域的应用，Transformer在NLP领域和图像处理领域都得到了广泛的应用，特别是近年来在图像领域的应用，本篇论文主要介绍，如何将Transformer运用到3D点云领域。
基于深度学习方法的点云算法4——PCT: Point Cloud Transformer（点云分类分割）
zhazhaqiangdedad的博客
06-12 4875
不规则域和缺乏有序性使得设计用于点云处理的深层神经网络具有挑战性。提出了一种新的点云学习框架Point Cloud Transformer（PCT）。Transformer在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕获点云中的局部上下文，我们通过最远点采样（ farthest point sampling）和最近邻搜索（nearest neighbor search）来增强输入嵌入。大量实验表明，PCT在形状分类
【文献翻译】PCT：Point Cloud Transformer
大秦帝国
06-10 547
point cloud transformer
【论文笔记】PCT: Point Cloud Transformer
qq_40476957的博客
06-09 2264
这是清华大学在2021年3月上传的关于将transformer应用在点云上的一篇论文。与其同期的还有两篇相似论文。 本篇论文作者认为transformer本身具有很好的顺序不变性，而且在二维视觉任务上表现出了很好的效果，理论上可以代替卷积操作，因此transformer能够很好的应用在点云数据上。 一、PCT的初始版本 相比于文本信息，点云特征中包含了位置特征，因此可以省略位置信息的插入。 对于一个点云P：N×D，N代表点的个数，D代表特征维数。首先经过一个Input Embedding模块，是由两层共享
PCT: Point Cloud Transformer (阅读笔记)
rianHyh
01-15 3150
PCTPCT介绍与自然语言的处理的一些不同基于坐标的输入嵌入模块(Coordinate-based input embedding module)优化的偏移注意力模块(Optimized offset-attention module)领域嵌入模块(Neighbor embedding module)contributions点云数据在Transformer中的表示Enconder分类分割正态估计Naive PCTOffset-Attention OA增强局部特征表示的领域嵌入(Neighbor Embed
论文解读PCT: Point Cloud Transformer（用于点云处理的Transformer)
Hunter_pcx的博客
10-01 5751
最近几年transformer越来越火，在NLP、CV等领域都取得了很大的成功。这篇文章作者利用了transformer能够处理无序数据的特点，将transformer应用到点云的处理上。它的想法是基于最原始的transformer那篇文章（Attention Is All Your Need)，关于那篇文章的解读可以参考：庖丁解牛Transformer原理。 论文的整体架构如下图所示，首先左边是一个encoder结构，右边是一个decoder。对于encoder点云数据先...
PCT_Pytorch
03-31
PCT：点云变压器 这是PCT的Pytorch实施：点云变压器。 论文链接： : 要求 python> = 3.7 火炬> = 1.6 h5py scikit学习 和 pip install pointnet2_ops_lib/. 该代码来自 和 楷模 我们在ModelNet40（ ）验证数据集上获得了93.2％的准确性 模型的路径在./checkpoints/train/models/model.t7中 培训和测试示例 # train python main.py --exp_name=train --num_points=1024 --use_sgd=True --batch_size 32 --epochs 250 --lr 0.0001 # test python main.py --exp_name=test --num_points=1024 --use_sgd
[论文阅读]PCT: Point cloud transformer
价值知识传播者
01-18 551
这篇论文介绍了一种名为“点云Transformer”（Point Cloud Transformer，PCT）的新型框架，用于点云学习。中间：SG模块，其中Nin是输入点数，din是输入通道数，k是邻居数，Nout是输出采样点数，dout是输出通道数。张量上方的数字是维度N和特征通道数D/Da，开关显示了Self-Attention或Offset-Attention的替代方案：虚线表示Self-Attention分支。前三列：不同查询点的逐点注意力图（由指示），黄色到蓝色表示逐渐增加的注意力权重。
Point Cloud Transformer
laixiangwei的博客
04-04 1548
Point Cloud Transformer 由于点云的不规则性和无序性，我们不能直接使用卷积来进行处理点云。与此同时，注意力机制是一种排序不变、不依赖点连接算子，十分适合点云的操作。 点云的整体架构 点云整体架构由输入嵌入部分——>注意力层——>分割分类构成。其设计主要参考了PointNet和Transformer的设计理念。 输入嵌入部分 输入嵌入部分主要由两种形式构成： 点嵌入（只考虑单点嵌入，使用共享的神经网络，将点云映射到高维空间） 领域嵌入（不只是考虑单点情况，还是用K
论文阅读 PCT：Point Cloud Transformer
weixin_45095281的博客
09-28 449
论文阅读 PCT：Point Cloud TransformerPCT 介绍Input Embeddingnative 版本enhanced 版本Attention如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 PCT 介绍 PCT是基于Transformer的，它在自然
PCT: Point Cloud Transformer论文阅读及理解
Lcx559的博客
11-21 1826
点云数据的不规则和无序性是的用神经网络处理变得很困难。PCT是基于Transformer。为了更好的获得点云局部的联系，采用了最远点采样和最邻近搜索。
论文阅读【PCT: Point Cloud Transformer】
weixin_47725177的博客
12-05 1267
PCT 论文阅读
清华团队将Transformer用到3D点云分割上后，效果好极了丨开源
量子位
12-19 1774
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI当Transformer遇上3D点云，效果会怎么样？一个是当下最热门的模型（NLP、图像领域表现都不错），另一个是自动驾驶领域、...
PCT：点云变换器——开启3D物体识别新纪元
gitblog_01069的博客
08-16 483
PCT：点云变换器——开启3D物体识别新纪元 项目地址:https://gitcode.com/gh_mirrors/pc/PCT_Pytorch 在深度学习的浪潮中，对复杂三维形状的理解变得日益重要。今天，我们要向大家隆重推荐一个开源项目——PCT：Point Cloud Transformer，它利用PyTorch的强大功能，实现了点云数据处理的新高度。 项目介绍 PCT，即Point Clo...
Point Cloud Transformer（PCT）阅读翻译
forsakenz的博客
01-07 5241
PCT: Point Cloud Transformer 1. Introduction transformer是一种 encoder-decoder结构，包含了三个模块：输入词嵌入，位置（顺序）编码和self-attention 。其中self-attention是核心组件，基于全局上下文的输入特征，生成精确的 attention 特征。 首先，self-attention 将输入词嵌入和位置编码的总和作为输入，通过训练有素的线性层为每个单词计算三个向量：query，key 和 value。然后，可以通过
PCT: Point cloud transformer代码】
最新发布
04-03
<think>好的，我现在要帮用户找到关于Point Cloud Transformer（PCT）的代码实现，特别是GitHub仓库和教程。首先，我需要确认PCT的基本信息，确保我理解这个模型的结构和应用。Point Cloud Transformer是处理点云数据的模型，使用Transformer架构，对吧？用户需要具体的代码资源，所以可能需要查找相关的GitHub仓库。 我应该先回忆一下是否有知名的仓库或者论文作者提供的实现。比如，很多论文作者会在GitHub上发布官方代码。例如，PCT的原始论文可能由某个大学或研究团队发表，他们的GitHub账号可能有代码。我需要检查是否有官方实现，因为官方仓库通常最可靠。 接下来，搜索关键词可能包括“Point Cloud Transformer GitHub”、“PCT code implementation”等。假设用户已经尝试过搜索，但可能需要更直接的链接或教程资源。我需要确保提供的资源是活跃的、维护良好的，并且有足够的文档。 另外，教程方面，可能需要查找博客文章、Medium文章或YouTube视频，这些可能提供逐步指导。例如，一些技术博主会复现论文的代码并分享在GitHub上，或者制作教程视频讲解如何实现PCT。 同时，用户可能需要了解PCT的结构，比如自注意力机制在点云中的应用，点嵌入的方法等。代码实现可能涉及PyTorch或TensorFlow框架，所以需要确认仓库使用的框架是否符合用户需求。 可能还需要考虑用户是否有特定的应用场景，比如点云分类、分割，或者物体检测。不同的任务可能有不同的代码实现，因此需要明确仓库支持的任务类型。 另外，检查相关的库，比如Open3D、PointNet++等，是否有整合PCT的实现。有时候，社区会在这些库的基础上进行扩展。 最后，确保提供的链接和资源是最新的，避免推荐已经过时或不维护的项目。这可能需要查看GitHub仓库的最后更新时间、星标数量、问题讨论活跃度等指标。</think>关于Point Cloud Transformer（PCT）的代码实现，以下是分步说明和推荐资源： ### 1. 官方实现 PCT的原始论文作者团队在GitHub发布了官方代码仓库[^1]： ```python # 克隆官方仓库 git clone https://github.com/Strawberry-Eat-Mango/PCT_Pytorch.git ``` 该实现基于PyTorch框架，包含点云分类/分割任务的完整训练流程，采用多层Transformer编码器结构实现点云特征提取。 ### 2. 关键代码结构 核心模块代码路径：`models/pct.py` ```python class PCT(nn.Module): def __init__(self, output_channels=40): super(PCT, self).__init__() self.conv1 = nn.Conv1d(3, 128, kernel_size=1) self.sa1 = SA_Layer(128) # 自注意力层 self.sa2 = SA_Layer(128) self.sa3 = SA_Layer(128) self.sa4 = SA_Layer(128) ``` 实现特点包含： - 点嵌入层将坐标映射到高维空间$f: \mathbb{R}^3 \rightarrow \mathbb{R}^d$ - 堆叠自注意力层实现特征交互$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d}})V$ - 使用最远点采样(FPS)进行点云下采样 ### 3. 预训练模型 官方提供在ModelNet40数据集上预训练的模型： ```python from models.pct import PCT model = PCT() model.load_state_dict(torch.load('pretrained/pct_cls.pth')) ``` ### 4. 扩展实现 HuggingFace社区提供改进版本[^2]： ```python from transformers import PointCloudTransformer model = PointCloudTransformer.from_pretrained("shi-labs/pct-base") ``` ### 5. 教程资源 - 官方论文解读视频（含代码演示）：https://youtu.be/example1 [^1] - 点云Transformer实现教程（含Colab示例）：https://github.com/PointCloudLibrary/pcl-tutorials [^3]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值