论文阅读 | PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

已于 2023-02-28 09:16:10 修改
阅读量233 收藏 3
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 计算机视觉 深度学习
于 2022-12-29 22:11:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/128488361
版权

前言：上海交通大学团队2018年出的一篇point-based点云分割文章
（虽说借用sift名号，但其实跟sift算子原理差别比较大，不提前做sift功课看这篇文章也没有影响）
论文地址：【here】
代码地址：【here】

PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

引言

我们从特征检测算法的尺度不变特征变换–SIFT中获得了灵感，利用该算法涉的两个关键属性：尺度不变性和方向编码性质，设计了一个Pointsift模块。
该实现主要是通过一个orientation-encoding，OE模块，不同于容易捕获同一方向点的KNN，该模块可以捕获各个方向的邻点信息。

方法

网络的主要架构如下，主要是通过上采样下采样的方式实现的，这点和pointnet++很相似
在提取每个点的特征的模块，通常是将邻点的信息一起拿过来卷积，如pointnet++,这里通过pointsift模块实现
在这里插入图片描述
pointsift模块在这里可以看到是由几个OE单元堆叠并加上几个shortcut连接组成的，这里的关键就是这个OE单元，也是全文的关键创新。
在这里插入图片描述
OE单元其实就是找邻点和卷积如何实现的过程
在这里插入图片描述
首先是找邻点。普通的KNN，在一个半径圆内找邻点，很有可能找到的邻点都是聚集在某一个方向的邻点。这里作者先将点周围划分成空间8个象限，然后在这8个象限内找邻点
作者拒了KNN找邻点和 S8N search的区别
在这里插入图片描述
在每个象限找到邻点后，之后是怎么把它们特征进行卷积的问题。作者提出了一种方向性卷积，通过连续对三个不同的方向进行卷积，实现方向编码
在这里插入图片描述
也就是连续三次卷积将一个222的特征变成一个单元的特征
在这里插入图片描述
该网络处理 OE单元，还有SA降采样和FP上采样的操作
SA降采样采用的是最远点采样寻找质心
FP上采样将下采样的丢弃的点还原，根据k个最近点的特征的三维空间中欧氏距离加权进行特征分配。

实验

对比实验
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

其他实验
作者证明了用S8N search能更好的提取更多点的信息，即可以找到更多的邻点
这里作者对比的是PointNet++，采用的是普通球面半径内的KNN，可以看到在第一次下采样过程中，pointsift基本能概括到所有点
，在这里插入图片描述

总结

这篇文章的S8N search的提出很有意思，就是代码是tensorflow实现的，读起来有些费劲，还得好好研究研究

btee
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-PointSIFT一种类似SIFT的网络模块用于3D点云语义分割
08-11
a module for 3D semantic segmentation in point clouds
论文翻译：PointSIFT: A SIFT-like Network Module for 3D Point Cloud SemanticSegmentation
gougou0304的博客
09-06 319
近来,三维理解研究为直接从点云中提取特征提供了思路[22,24]，这需要对点云进行有效的形状模式描述。灵感来自出色的二维形状描述模块SIFT[15]，我们设计了一个名为PointSIFT的模块，该模块对不同方向的信息进行编码，并能适应形状的尺度。具体地，设计了一个方向编码单元来描述8个关键方向，并通过叠加多个方向编码单元来实现多尺度表示。PointSIFT模块可以集成到各种基于PointNet的架构中，提高表示能力。大量实验表明，我们的基于PointSIFT的框架在标准基准数据集上优于最先进的方法。...
PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
没有B树的博客
11-03 1066
近年来，3D语义理解研究为直接从点云中提取特征提供了新的思路1,2，这就需要对点云进行有效的形状模式描述。受出色的2D形状特征描述子SIFT的启发3，我们设计了一个名为PointSIFT的模块，该模块对不同方向的信息进行编码，并适应形状的比例。具体而言，设计了一个方向编码单元来描述八个关键方向，并通过堆叠多个方向编码单元来实现多尺度表示。PointSIFT模块可以集成到各种基于PointNet的体系结构中，以提高表示能力。大量实验表明，我们基于PointSIFT的框架在标准基准数据集上优于最先进的方法。
PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation学习笔记
路&客的博客
12-03 733
SIFT： 尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe在1999年所发表，2004年完善总结。
sift论文_论文笔记：pointSIFT 点云分割
weixin_39795292的博客
12-06 312
这篇论文属于pointnet系列，是在pointnet++的基础上提出来的，里面的很多概念都直接用了pointnet++，所以需先阅读pointnet++。月明星稀风萧萧：论文笔记：PointNet++论文代码讨论​zhuanlan.zhihu.com可视化结果1. 论文亮点 1.1. 编码了不同方向的特征 使用orientation-encoding unit，来描述空间的8个方向 。从下图可...
SIFT-like_david_改进sift算法_图像提取_特征匹配_SIFT-Like特征_
10-03
sift特征提取算法，Sift算法简介Sift算法是David Lowe于1999年提出的局部特征描述子
node-sift-distance:SIFT距离算法
06-24
因此，如果您想使用 SIFT 3，例如，您需要安装sift[email protected] ，用于 SIFT 算法的 3B 版sift[email protected] ，用于版本 4 sift[email protected]等等。 关于 这实现了。 应用程序接口 SIFT( a , b , [选项] ) 字符串...
SIFT-GPU:SIFT的CUDA实现
05-14
SIFT-GPUA CUDA implementation of SIFT：配置（待完成）见SIFT-GPU配置教程测试1.Release 模式cd bin./SimpleSIFT.exeRelease模式，输出结果：[GPU VENDOR]: NVIDIA Corporation 1717MBTEXTURE: 16384Image size : ...
SIFT3D-master.zip_3d sift_SIFT3D算法_sift 3D_sift3d_特征描述
07-15
经典sift3d算法,有c++和matlab两个版本。
SIFT:Android NDK-2D-> 3D第三方算法库部署（http
05-19
筛 Android NDK-2D-> 3D第三方算法库部署（ ）
PointSIFT 论文笔记
洲洲的博客
10-08 3116
文章目录摘要介绍PointSIFT基本结构PointSIFT模型overview方向编码卷积讨论多尺度意识讨论整体架构结论 最近看了PointSIFT这篇文章，写一下笔记，有些地方还不是很明白，会回来补充。另外按照作者提供的方法，在服务器上用了10天才完成了整个网络的训练，感觉时间还是很长的。 题目：PointSIFT: A SIFT-like Network Module for 3D Poi...
【论文笔记】【点云分割】2018_PointSIFT：A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
marsh_zy的博客
09-15 968
PointSIFT：A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation 0. Summary 本文提出了pointSIFT方法，通过PointSIFT和PointNet++相结合构建了网络结构。PointSIFT借鉴了SIFT的思想，在空间上进行八个方向的临近点查询，并进行xyz方向的卷积得到空间特征，并在实验部分比较了S8N和ball query的区别 1. Research Objective 解决点云空间信息及多尺度
【论文阅读——众包场景下基于参与方可靠性的激励机制】
qq_45467608的博客
05-17 591
该工作描述一个典型的众包系统，它由三部分组成：任务请求者、众包平台和动态的参与方集合。任务请求者在平台上发布任务，平台将这些任务分配给参与方，并在收到参与方的回答后进行真值推断，然后将最终结果发送给任务请求者。Ww1w2wMWw1​w2​...wM​表示M个参与方集合每个参与方w∈Ww\in Ww∈W在时间窗口内随机到达平台，且每个参与方具有一个容量wτw.\tauwτ(可以完成的最大任务数)该工作专注于数值任务并考虑两种类型的任务NNN。
【论文笔记】| 蛋白质大模型ProLLaMA
m0_62249876的博客
05-17 767
利用低秩适应(LoRA)并采用两阶段训练方法，将任何通用 LLM 转换为能够同时处理多个 PLP 任务的 ProLLM，在无条件/可控蛋白质序列生成、蛋白质属性预测任务中取得了最先进的结果。layers (token可能在蛋白质序列和自然语言中具有不同的含义，需要对同一token进行不同的embedding)当前的 ProLLM 缺乏自然语言能力，这阻碍了多任务能力，利用预训练的 LLAMA2 对。（类比学习新语言，模型在保留原始自然语言能力的同时学习蛋白质语言）基于上述模型针对特定任务再次进行指令微调。
Vision Mamba论文阅读（主干网络）
最新发布
qq_44799766的博客
05-18 994
简单看看，文章介绍了Vim模型，这是一种新的通用视觉基础模型，它利用双向Mamba块(bidirectional Mamba blocks (Vim))和位置嵌入 (position embeddings)来处理图像序列，并在ImageNet分类、COCO对象检测和ADE20K语义分割任务上取得了比现有的视觉Transformer模型（如DeiT）更好的性能。指出了Mamba时间复杂度与序列长度是线性的。而Transformer的时间复杂度是与序列长度乘二次方关系。
论文阅读：基于改进 YOLOv5算法的密集动态目标检测方法
qq_53589322的博客
05-15 600
YOLOv5原始主干网络采用3×3的卷积模块，对非密集场景下的目标识别任务具有出色的能力，但在密集场景和被识别物有遮挡的情况下很难提取到有效特征信息，为此论文研究对传统的 RepVGG 结构进行修改，引入更加友好的量化感知模块 QARepNeXt。综上所述，通过在主干网络、特征融合和损失函数等方面的改进，优化后的 YOLOv5s 算法模型有效提升了密集动态目标检测的精度和可靠性，适用于密集动态目标检测及其相关领域。目的：提出一种基于 YOLOv5改进的检测算法，解决密集动态目标检测精度低及易漏检的问题。
OpenCV：入门（二）
ma_no_lo的博客
05-18 1108
讲述了图像均匀的图像过滤方法和图像不均匀时的两种方法：自适应阈值处理和Otsu处理方法
[数据集][目标检测]鱼头鱼尾检测数据集VOC+YOLO格式200张2类别
FL1623863129的博客
05-18 121
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:["head","tail"]图片数量(jpg文件个数)：200。标注数量(xml文件个数)：200。标注数量(txt文件个数)：200。使用标注工具：labelImg。标注规则：对类别进行画矩形框。head 框数 = 724。
基于Matlab编写的Yolo算法行人检测系统
2301_79809972的博客
05-18 366
一、项目背景与意义在当前的视频监控和安全监控领域，对行人进行准确、高效的检测是至关重要的。传统的行人检测方法主要依赖于人工观察，这种方式存在实时性差、工作量大、易疲劳等问题。为了解决这些问题，本项目基于Matlab编程环境和Yolo（You Only Look Once）算法，开发了一套行人检测系统。该系统能够实时、准确地检测图像或视频中的行人目标，为视频监控和安全监控领域提供了一种新的解决方案。
e0322 不允许使用抽象类类型 \cv::sift\" 的对象:"
08-09
sift->detectAndCompute(image, cv::noArray(), keypoints, descriptors); // 其他操作... return 0; } ``` 通过以上代码，我们使用了\cv::xfeatures2d::SIFT类来创建了SIFT算法的实例，并使用该实例进行了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值