point transformer

感觉主要在于 point transformer layer层的设计和整个网络层的设计

point transformer layer的设计

 

     文章作者就提出了这样一个公式,其中X为该点的k个邻居,xj为第j个邻居,而ϕ(xi)为该点xi的q值,ψ(xj) 为邻居xj的k值,两者相减再加上δ(位置编码),得到的值进行一个mlp(即γ函数)得到attention中的权重,再利用ρ(例如softmax)进行归一化处理,而α(xj)为value值,加上位置编码后再与之前的值相乘就得到了点的重要程度。

MLP学习:包含关系

归一化处理和简化:减少训练消耗和达到更好的训练效果

网络架构


 

transformer块

transformer down

 transformer up

针对解决的问题

注意力机制的好处:自注意力本质上是一个集合操作符,位置信息作为元素的属性提供,这些元素被作为集合处理。由于3D点云本质上是具有位置属性的点集,因此自注意机制似乎特别适合于这类数据。

证明了位置编码在大尺度点云点云理解中的重要性。

为什么这样设计网络

点云的无序性和无规则性 天生的适合自注意力机制 将邻域点和中心点进行减法 ,提取出该特征来 送到MLP和非线性层 进行自注意力的池化,可以得到不同的邻域对于中心点的权重,实现自注意力机制,从而能够得到局部几何结构,由于这种机制是集合性质处理的,所以适合点云这种无序的数据。

如有不对 请多多指教

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【资源说明】 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或者热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载,沟通交流,互相学习,共同进步!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值