【计算机视觉】简述对Point Transformer的理解

最近对看完RandLA-Net之后,对其里面LFA模块的Attentive Pool模块比较感兴趣,这一模块,对LocSE提取到的邻域+全局特征进行一下自注意力加权,聚合特征同时并且将点云中比较重要的特征给重点加权出来,其实很多不管是点卷积的文章还是基于点的文章,都是先进行采样之后邻域搜索,然后利用不同的方法聚合特征(一般都会学习邻域点和中心点之间的特征关系),今天看完了Point Transformer这篇文章,感觉很多网络的结构都是类似的,他们都是先聚合特征(使用不同的方法),并且解决点云的无序性和不规则输入等等问题,然后聚合完之后上采样还原特征,完成分割任务。
最近自我注意网络彻底改变了自然语言处理,并在图像分类和物体检测等图像分析任务中取得了令人瞩目的进步,Point Transformer这篇文章为点云设计自我关注层,并使用它们来构建语义场景分割,对象部分分割和对象分类等任务的自我关注网络。
在这里插入图片描述
在这里插入图片描述
其中上述等式中的φ,ψ,α逐点特征变化函数,有点类似于映射函数MLP,ρ是归一化函数,类似于softmax,δ是位置编码函数(通过中心点和邻点的相对位置坐标,利用θ函数进行一个学习映射),所以点乘坐标部分就是利用中心点特征和邻域点特征加上位置编码特征进行学习的权重(自注意力权重),点乘右面是邻域的特征加上位置编码特征,后面消融实验证明位置编码特征加上之后,效果更好,下面的结构与上述公式也照应上。
在这里插入图片描述
在这里插入图片描述
Point Transformer的网络结构的话与其他分割分类的很像,聚合特征,然后上采样还原特征,上图b指的是transition down模块,主要作用主要是先最远点采样(FPS),然后利用KNN搜索紧邻点,之后局部的池化进行输出,输出送入Point Transformer模块,先进行一个线性层,然后进行自注意力加权,之后通过线性层输出,上采样模块主要是通过下采样的点和超集的点进行插值拼接进行还原。对于实验,在这里我只罗列消融实验的,对于其分类实验和分割实验大家看论文即可。
在这里插入图片描述
在这里插入图片描述
表5的实验结果表明不同邻域搜索的点数对miou的结果会有所不同,但是并不是一味地邻域搜索K值越大,效果越好。对于表6的消融实验主要是是否添加相对位置编码δ,absolute是绝对位置的编码,relative是相对位置的编码,可以看到相对位置的编码miou是最高的,而且对于只加特征相对位置和只加权重相对位置特征编码的效果没有都加上好。表7的实验主要是transition down中是否加入MLP映射和pooling的不同效果,下面的实验是标量注意力和矢量注意力的区别,实验结果说明矢量的效果远远高于标量的效果。
以上是自己对Point Transformer这篇论文的一点理解,如有不对,请多多指正,附上论文地址,大家可以去看看原文和代码。
论文网址:https://openaccess.thecvf.com/content/ICCV2021/papers/Zhao_Point_Transformer_ICCV_2021_paper.pdf

【资源说明】 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或者热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载,沟通交流,互相学习,共同进步!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小刘正在努力

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值