Point Transformer论文阅读笔记

最新推荐文章于 2023-12-25 16:12:28 发布
最新推荐文章于 2023-12-25 16:12:28 发布
阅读量280 收藏 1
点赞数
文章标签： 深度学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Torres9_1125/article/details/124874899
版权

  • 本文思想利用self-attention这个机制来帮助我们在这些点云中提出一个好的feature来解决下游任务中的困难
  • 点云 高维低信息密度
  • 点云区别于像素点 这个点中包含这个点的信息还有这个点在空间中的位置信息

对于任意一个数据点xi首先先找他的最近的k个点，采取knn算法取得的点的集合称为Xi

第一层 输入n个点，每个点产生32个vector作为feature

第二层 降采样 点减少为1/4但是深度变深了为64

……

第五层 降采样 点减少为1/256但是深度变深了为512

第六层 升采样 减少深度

……

最后 经过MLP把32最为最后的输出

什么是farthest point sampling  最远点采样

  • 随机选择一个点开始 作为我采样需要保留的一个点 s0
  • 计算其他所有的点到这个点s0的一个距离
  • 选择已经sampling的这个点最远的点s1加到这个集合里如{s0，s1}
  • 如此重复 计算集合外的点距离集合内最远的点是哪个，并加入
  • 不断重复 直到有N个点 达到采样结果并结束

下采样过程

通过最远点采样 将p1个点变为p2个点，与此同时将p1中所有点的feature经过mlp输出p1个vector

因为最终输出p2个点因此我们要做一个pooling 就是使用KNN找到p2这个点最近的几个邻居，并将这几个最近的点拿出来做一个max pooling，最终得到一个feature y

输入input 1(x1,p1)和input 2(x2,p2)重新合并成output(y,p2)

首先经过全连接层 ，此时p1大小远远小于p2，p1通过trilinear interpolation做线性插补，最后做一个相加

Torres_9_cfc
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
降采样_CVPR 2020 | 自适应的点云降采样，兼顾3D物体分类的准确性和效率
weixin_42373088的博客
01-13 714
本文介绍的是 CVPR 2020 论文《Adaptive Hierarchical Down-Sampling for Point Cloud Classification》，作者来自华为诺亚方舟实验室认知车联网项目加研团队。作者 | 诺亚方舟实验室编辑 | 丛 末论文链接：https://arxiv.org/abs/1904.085061简介本研究以深度神经网络为依托，面向3D点云分类，针对现有...
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool
用于变化检测的基于transformer的连体网络
m0_46599997的博客
04-14 932
摘要 提出的方法在一个连体网络架构中统一了分层结构的transformer编码器和多层感知机（MLP）解码器，以有效地呈现多尺度长距离细节来得到精确变化检测。 1 介绍 变化检测(CD)旨在从在不同时间获取的一对配准图像中检测相关变化。变化的定义通常根据应用而变化。人造设施(如建筑物、车辆等)的变化。)、植被变化和环境变化(例如，极地冰盖融化、森林砍伐、灾害造成的损害)通常被视为相关变化。更好的CD模型是能够识别这些相关变化，同时避免由季节变化、建筑物阴影、大气变化和照明条件变化引起的复杂的不相关变化的模型
ViT中的上采样和下采样——patch merge
zhu_ba的博客
12-25 2052
在视觉Transformer（Vision Transformer，ViT）中，上采样和下采样通常指的是在不同层之间调整特征图的空间分辨率，以便在不同层次上捕获图像的不同尺度的信息。与传统的卷积神经网络（CNN）不同，ViT使用自注意力机制而不是卷积操作来处理输入图像，因此上采样和下采样的方式也有所不同。总体而言，ViT中的上采样和下采样主要是通过池化和插值等操作来实现的，以在不同层次上处理输入图像的尺度信息。原本的特征图的大小（h，w，c），变成了（h/2, w/2, 2c）。在ViT中，通常使用。
TransUNet
如果想成为中心，那么就到中心去吧。
03-16 2620
文章目录1 摘要2.论文的贡献3 方法3.1 编码器Transformer3.2 TransUNet4 结论 1 摘要 医学图像分割是发展医疗保健系统，特别是疾病诊断和治疗规划的必要前提。 在各种医学图像分割任务中，U形体系结构，也称为U-Net，已成为事实标准，并取得了巨大的成功。 然而，由于卷积操作的内在局部性，U-Net通常证明了显式建模远程依赖的局限性。 变形金刚，设计用于序列到序列预测，已成为具有先天全局自我关注机制的替代架构，但由于低级别细节不足，可能导致有限的定位能力。 在本文中，我们提出了T
DA-Net：用于视网膜血管分割的双分支Transformer和自适应条带上采样
qq_45745941的博客
05-04 1132
目前的视网膜血管分割方法根据输入类型大致分为图像级和patch级方法，但每种方法都有自己的优缺点。为了从这两种输入形式中获益，我们引入了一种双分支变换器模块（DBTM），它可以同时充分享受patch级别的局部信息和图像级别的全局上下文。此外，视网膜血管长而细，呈条状分布，这使得经典卷积神经网络的方核是错误的，因为它只适用于大多数体积形状的自然物体。为了更好地捕捉上下文信息，我们进一步设计了自适应Strip上采样块（ASUB），以适应视网膜血管的条带分布。
Point Transformer - Pytorch.zip
04-12
点变换器（Point Transformer）是一种基于Transformer架构的三维点云处理方法，主要应用于3D几何理解和计算机视觉任务，如3D对象分类、分割等。在PyTorch框架中实现Point Transformer，可以充分利用其灵活性和易用性...
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
Transformer 相关论文
最新发布
04-19
一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)
Attention is all you need论文阅读笔记
12-25
Attention is all you need 论文阅读笔记 本文是对 Attention is all you need 论文的阅读笔记，论文提出了一种新的.sequence transduction 模型，即 Transformer，该模型基于自注意力机制，舍弃了循环和卷积神经...
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
weixin_42890793的博客
07-02 708
transformer 用于医学图像分割 原论文：TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation 摘要：在本文中，提出了 TransUNet，它兼具 Transformers 和 U-Net 的优点，可作为医学图像分割的强大替代方案。 一方面，Transformer 将来自卷积神经网络 (CNN) 特征图的标记化图像块编码为用于提取全局上下文的输入序列。 另一方面，解码器对编码特征进行上采样，然后将其与高
CVPR 2022 | 网易&华科提出特征采样与分组：基于Transformer的场景文字检测方法
阿木寺的博客
05-12 1937
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：CSIG文档图像分析与识别专委会本文简要介绍了CVPR 2022录用的论文”Few Could be Better Than All: Feature Sampling and Grouping for Scene Text Detection”的主要工作。该论文提出了一种简单高效的特征采样和特征...
CV中的transformer模型创新思路总结
Maple__Boy
02-26 4250
前言：本文回顾了ViT的结构，总结了计算机视觉中的transformer的主要改进思路：改进分块，改进位置编码，改进Encoder，增加Decoder。每个思路下都介绍了相关的论文，介绍了这些论文的提出出发点和改进思路。 本文的目的不在于介绍transformer现在有哪些模型，而在于学习借鉴别人发现问题并改进的思路，从而在自己方向上提出合适且合理的改进。 VIT回顾 在讲计算机视觉中transformer的模型创新总结之前，先有必要对它整体模型进行回顾。在本文选取了最常用的ViT。 如图所示，.
点云网络的论文理解（四）-点云网络的优化 PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space
qq_43210957的博客
07-07 1280
Abstract 逐句翻译 Few prior works study deep learning on point sets. 以前很少有关于点集的深度学习的研究。 PointNet [20] is a pioneer in this direction. PointNet[20]是这方面的先驱。 However, by design PointNet does not capture local structures induced by the metric space points live in,
点云深度学习系列博客(六): Point Transformer方法概述
02-10 5826
基于注意力机制的深度学习模型在起初设计时，针对的是NLP问题。包括词元分析，翻译等语言处理任务，注意力机制能够训练超大规模数据，并建立学习模型，获得显著的性能提升。鉴于注意力机制在NLP任务中的空前成功，视觉领域也尝试引入注意力机制，著名工作包括VIT [1] 和Swin Transformer [2]。对于点云数据处理，一些基于Transformer模型 [3][4] 的工作也被提出。本文以文献 [3] 为基础，概述在点云数据处理任务中引入Point Transformer的具体思路。
【点云处理之论文狂读前沿版3】——Point Transformer
yuanmiyu6522的博客
05-07 3114
Point Transformer摘要1. 引言 摘要 研究自注意力网络在三维点云处理应用上的效果怎么样。 为点云设计了自注意力层，并构造了自注意力网络。 可以用于语义场景分割、目标部分检测和目标分类。 1. 引言 Transformer很适合处理点云，因为 ...
【论文阅读】Point Transformer解读
毛毛的博客
08-23 7829
文章目录前言摘要1.介绍2.相关工作3.Point Transformer3.1.Background3.2. Point Transformer Layer3.3. Position Encoding3.4. Point Transformer Block3.5. Network Architecture4. Experiments5.总结 前言 1. 为什么要做这个研究？ 探究Transformer在点云处理中的应用。 2. 实验方法是什么样的？ 在场景分割中采用了U-net结构，包含5个编码器和5
深度学习——CV、CNN、RNN、梯度消失与梯度爆炸、LSTM、GRU、BRNN、上采样层、attention结构、transformer结构、bert结构
胡图图不糊涂的博客
07-24 3864
在时候可以，并且可以很多，。其包含了（Verticaledgedetection）和（Verticaledgedetection）等等是将通过一种进行后得到一张，在图片中将。通过另一种运算，最后，这实际分别就是与的区别。
TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解
热门推荐
weixin_43656644的博客
03-20 1万+
原文地址：https://arxiv.org/pdf/2102.04306.pdf 收录：CVPR 2021 代码:https://github.com/Beckschen/TransUNet 首篇将transformers用于医疗分割的文章 设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection 对关键的公式，和结构图进行了个人的一些注释，供大家参考。 摘要 在医学图像中， U-Net, 已经成为了 de-f..
point transformer原论文
03-16
Point Transformer是一篇关于点云处理的论文，提出了一种新的基于Transformer的点云处理方法。该方法通过将点云视为一组点的集合，利用Transformer的自注意力机制来学习点之间的关系，从而实现点云的分类、分割和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值