- 本文思想利用self-attention这个机制来帮助我们在这些点云中提出一个好的feature来解决下游任务中的困难
- 点云 高维低信息密度
- 点云区别于像素点 这个点中包含这个点的信息还有这个点在空间中的位置信息
对于任意一个数据点xi首先先找他的最近的k个点,采取knn算法取得的点的集合称为Xi
第一层 输入n个点,每个点产生32个vector作为feature
第二层 降采样 点减少为1/4但是深度变深了为64
……
第五层 降采样 点减少为1/256但是深度变深了为512
第六层 升采样 减少深度
……
最后 经过MLP把32最为最后的输出
什么是farthest point sampling 最远点采样
- 随机选择一个点开始 作为我采样需要保留的一个点 s0
- 计算其他所有的点到这个点s0的一个距离
- 选择已经sampling的这个点最远的点s1加到这个集合里如{s0,s1}
- 如此重复 计算集合外的点距离集合内最远的点是哪个,并加入
- 不断重复 直到有N个点 达到采样结果并结束
下采样过程
通过最远点采样 将p1个点变为p2个点,与此同时将p1中所有点的feature经过mlp输出p1个vector
因为最终输出p2个点因此我们要做一个pooling 就是使用KNN找到p2这个点最近的几个邻居,并将这几个最近的点拿出来做一个max pooling,最终得到一个feature y
输入input 1(x1,p1)和input 2(x2,p2)重新合并成output(y,p2)
首先经过全连接层 ,此时p1大小远远小于p2,p1通过trilinear interpolation做线性插补,最后做一个相加