【3D目标检测】PointNet

已于 2022-10-09 22:00:37 修改
阅读量742 收藏 1
点赞数
分类专栏： 论文学习 文章标签： 其他
于 2022-10-08 15:27:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44173974/article/details/127207410
版权

目录

概述

首先，本文是基于点云，并且直接处理点云数据的3D目标检测网络
本文提出了一个简单的网络，考虑点云的特性，直接处理点云数据，用于分类或者分割等任务。

细节

相关工作

传统方法：手工提取点云特征，存在很多局限性，如对于特定任务，不容易找到优质的特征，并且模型的泛化能力较差。
深度学习方法：1、将点云体素化，通过3D卷积处理，体素化会导致元素的稀疏（很多体素是空的），并且3D卷积计算量消耗大。2、将点云转换成2D数据，然后采用2D卷积以及相应的方法处理，这个方法在特定的任务上（分类、检索）取得了比较好的结果，但是对另一些任务（分割、形状补全）就不太适用。

网络结构

  1. 输入一个样本对应的点云数据，这里是n*3也就是n个点，每个点有三个特征
  2. 输入数据经过一个T-Net进行输入空间的对齐，保证点云的变换不变性。相当于是做了一次变换，所以输入输出的shape是不变的
  3. 经过多个MLP进行特征提取，再次使用T-Net进行特征空间的对齐
  4. 对于每个特征维度使用max pool得到全局特征，也就是进行了特征聚合操作
  5. 对于分类问题，经过MLP直接输出k个类别的类别概率，对于分割问题，先进行全局信息与局部分析的融合，然后输出n*m的矩阵，表示n个点对应m个分类类别的概率。

在这里插入图片描述

点云及点云的性质

点云：点云就是一系列的点的集合，每个点可以包含若干个属性，最基本的就是空间坐标(x,y,z)，当然也可以有一些其他的属性。第一张图是点云的原始数据，这里是包括了6个属性，前三个是坐标，后三个是其他属性；第二张图是这份点云数据的可视化。
在这里插入图片描述
在这里插入图片描述

点云的性质：

  • 非结构化：点云是非结构的，所以无法直接使用卷积神经网络处理。
  • 无序性：点云是无序的，假设我们的点云有N个点，这N个点的任意排序都能正常表示点云，这也要求我们的网络对于任意顺序的点的输入都有一个相同的结果。
  • 变换不变性：对点云进行平移、旋转等变换，应该是不改变点云分类或者分割的结果的。
  • 点的交互：点云中的点不是孤立的，他和他周围的点是一个局部，是存在联系的，所以这个联系，以及局部与局部之间的联系都是需要网络考虑的。
  • 其他特点：点云采样是不均匀的所以点密度是变化比较大的，传感器有效范围所以会有近密远疏的特点

针对点云性质的处理

针对非结构化的特点：作者直接使用了MLP处理

针对无序性的特点： 首先无序背景采用主流的方法会有什么问题呢？我们打个比方，有三个数据，每个数据都有三个特征，我们要将他们聚合成一个数据，一个简单的方法就是每个数据都取一部分，但是每个数据取多少是我们学习得到的，而这个数据是定死的，假如说第一个数据取20%，第二个数据取50%，第三个数据取30%，那么三种数据可以有6种排列方式，对应我们的聚合方法就会产生6种结果，这不是一个无序数据应该有的，也就是我们的聚合方式是存在问题的。无序背景下特征提取主流的解决方案有三种：1、排序；2、RNN处理；3、使用一个简单的对称函数。作者实验下来，第三种效果最好。主要解释下第三种，什么是对称函数。对称函数其实就是对于输入顺序无所谓的函数，比如max函数，min函数，sum函数之类的，如采用max函数，对于每一维度的特征，我们都取最大的一个值作为聚合数据的特征，无论输入数据的顺序怎么变换，都可以得到相同的结果。

针对变换不变性的特点：一个直观的想法就是在进行特征提取之前进行标准空间的对齐，这样的话，不管输入经过了怎样的变换，我们统一将它转换成标准的状态，然后再进行特征提取。作者这边还额外添加了一个特征空间的对齐操作，这两个对齐网络是额外训练的简单网络（T-Net）。对T-Net的理解：我最开始的一个想法是，这个网络用于对齐输入，所以他训练的时候，输入就是n个点对应的n!中排列，监督信号是一个给定的排列，这样完成对齐，但是学习代码的时候发现，T-Net的输出是一个和输入相同shape的系数矩阵，突然就蒙了。

针对点交互的特点：作者这边采用的方式是全局信息与个体信息的融合，首先使用max pool得到全局的点云向量，然后将全局的点云向量与每个点的特征进行融合，接着使用一个MLP加深这种融合（减小语义沟壑），最后用融合之后的特征去做分割。但是，这个操作其实是因为分割任务的特殊性所以需要的，也就是说，从全局的角度来看，是没有将当前点和周围点做融合，没有利用到局部信息的。

简单实现

使用PointNet实现分类，参考代码：链接，conv1d的理解参考：链接

import paddle
import paddle.nn as nn
import paddle.nn.functional as F

# 构造输入变换矩阵
class STN3d(nn.Layer):
    def __init__(self,channel=3):
        super(STN3d, self).__init__()
        self.conv1 = nn.Conv1D(channel, 64, 1)
        self.conv2 = nn.Conv1D(64, 128, 1)
        self.conv3 = nn.Conv1D(128, 1024, 1)

        self.fc1=nn.Linear(1024,512)
        self.fc2=nn.Linear(512,256)
        self.fc3=nn.Linear(256,9)

        self.bn1 = nn.BatchNorm1D(64)
        self.bn2 = nn.BatchNorm1D(128)
        self.bn3 = nn.BatchNorm1D(1024)
        self.bn4 = nn.BatchNorm1D(512)
        self.bn5 = nn.BatchNorm1D(256)

        self.relu=nn.ReLU()

    def forward(self,x):
        # x:1,3,point_nums
        B, D, N = x.shape
        x = self.relu(self.bn1(self.conv1(x)))  # x:1,3,point_nums ->x:1,64,point_nums
        x = self.relu(self.bn2(self.conv2(x)))  # x:1,64,point_nums ->x:1,128,point_nums
        x = self.relu(self.bn3(self.conv3(x)))  # x:1,128,point_nums ->x:1,1024,point_nums
        x = paddle.max(x, 2, keepdim=True)  # x:1,1024,point_nums ->x:1,1024,1
        x = paddle.flatten(x, 1)  # x:1,1024,1 -> x:1,1024

        x=self.relu(self.bn4(self.fc1(x))) # x:1,1024 -> x:1,512
        x=self.relu(self.bn5(self.fc2(x))) # x:1,512 -> x:1,256
        x=self.fc3(x) # x:1,256 -> x:1,9

        iden = paddle.to_tensor([1, 0, 0, 0, 1, 0, 0, 0, 1]).astype(paddle.float32).reshape([1,9]).expand([B,9]) # iden:1,9-> iden:B,9
        x=x+iden
        x=x.reshape([-1,3,3])
        return x


# 构造特征变换矩阵
class STNkd(nn.Layer):
    def __init__(self, k=64):
        super(STNkd, self).__init__()
        self.conv1 = nn.Conv1D(k, 64, 1)
        self.conv2 = nn.Conv1D(64, 128, 1)
        self.conv3 = nn.Conv1D(128, 1024, 1)

        self.fc1 = nn.Linear(1024, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, k*k)

        self.bn1 = nn.BatchNorm1D(64)
        self.bn2 = nn.BatchNorm1D(128)
        self.bn3 = nn.BatchNorm1D(1024)
        self.bn4 = nn.BatchNorm1D(512)
        self.bn5 = nn.BatchNorm1D(256)

        self.relu = nn.ReLU()
        self.k=k

    def forward(self, x):
        # x:1,64,point_nums
        B, D, N = x.shape
        x = self.relu(self.bn1(self.conv1(x)))  # x:1,64,point_nums ->x:1,64,point_nums
        x = self.relu(self.bn2(self.conv2(x)))  # x:1,64,point_nums ->x:1,128,point_nums
        x = self.relu(self.bn3(self.conv3(x)))  # x:1,128,point_nums ->x:1,1024,point_nums
        x = paddle.max(x, 2, keepdim=True)  # x:1,1024,point_nums ->x:1,1024,1
        x = paddle.flatten(x, 1)  # x:1,1024,1 -> x:1,1024

        x = self.relu(self.bn4(self.fc1(x)))  # x:1,1024 -> x:1,512
        x = self.relu(self.bn5(self.fc2(x)))  # x:1,512 -> x:1,256
        x = self.fc3(x)  # x:1,256 -> x:1,9

        iden = paddle.eye(self.k,self.k).astype(paddle.float32).reshape([1, self.k*self.k]).expand(
            [B, self.k*self.k])  # iden:1,64-> iden:B,64
        x = x + iden
        x = x.reshape([-1, self.k,self.k])
        return x


class PointNet(nn.Layer):
    # 特征数和分类的类别
    def __init__(self,channel=3,classes=3):
        super(PointNet, self).__init__()
        self.stn = STN3d(channel=channel)
        self.fstn = STNkd(k=64)

        self.conv1 = nn.Conv1D(channel,64,1)
        self.conv2 = nn.Conv1D(64, 128, 1)
        self.conv3 = nn.Conv1D(128, 1024, 1)

        self.fc1 = nn.Linear(1024, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, classes)

        self.bn1 = nn.BatchNorm1D(64)
        self.bn2 = nn.BatchNorm1D(128)
        self.bn3 = nn.BatchNorm1D(1024)
        self.bn4 = nn.BatchNorm1D(512)
        self.bn5 = nn.BatchNorm1D(256)
        self.relu=nn.ReLU()

    def forward(self,x):
        # x:1,3,point_nums
        B,D,N=x.shape


        # 输入空间对齐
        trans = self.stn(x)
        x=paddle.transpose(x,[0,2,1])  # x:1,3,point_nums ->x:1,point_nums,3
        x=paddle.matmul(x,trans)
        x = paddle.transpose(x, [0,2, 1]) # x:1,point_nums,3 ->x:1,3,point_nums


        x=self.relu(self.bn1(self.conv1(x))) # x:1,3,point_nums ->x:1,64,point_nums

        # 特征空间对齐
        trans_feat = self.fstn(x)
        x = paddle.transpose(x, [0, 2, 1])  # x:1,3,point_nums ->x:1,point_nums,3
        x = paddle.matmul(x, trans_feat)
        x = paddle.transpose(x, [0, 2, 1])  # x:1,point_nums,3 ->x:1,3,point_nums


        x=self.relu(self.bn2(self.conv2(x))) # x:1,64,point_nums ->x:1,128,point_nums
        x=self.relu(self.bn3(self.conv3(x))) # x:1,128,point_nums ->x:1,1024,point_nums
        # 沿着点云数方向做求最大值，相当于是将N个样本聚合成一个，得到一个全局的点云特征
        x = paddle.max(x, 2, keepdim=True)  # x:1,1024,point_nums ->x:1,1024,1
        # 得到全局的特征向量
        x=paddle.flatten(x,1) # x:1,1024,1 -> x:1,1024

        # 得到分类结果
        x=self.relu(self.bn4(self.fc1(x))) # x:1,1024 -> x:1,512
        x=self.relu(self.bn5(self.fc2(x))) # x:1,512 -> x:1,256
        x=self.fc3(x)
        x=F.softmax(x,1)

        return x




def main():
    x = paddle.randn([1, 3, 100])
    pointnet = PointNet(3,3)
    print(pointnet(x))

if __name__ == '__main__':
    main()
可乐大牛
关注
专栏目录
论文阅读笔记 | 三维目标检测——PointNet
Clichong
11-15 918
同时，在后续的提取特征中，同样对特征进行规范空间中的对齐。操作方法类似，也是利用提取后的特征通过T-Net获得仿射矩阵再作用到特征上实现变换，不过由于特征的维度一般比较大，难以优化，所以训练会添加一个正则化项，将特征的仿射矩阵转化为一个正交矩阵，同时正交矩阵是不会在输入中丢失信息的。这里PointNet用了很简单的方法，就是把这里获得的全局特征拼接到每个点的局部特征上，完成了局部特征与全局特征的结合，后续再使用一个共享参数的MLP来对这个局部和全局拼接的特征进行降维，再进行后续分割任务，对每个点进行分类。
【论文解读】F-PointNet 使用RGB图像和Depth点云深度 数据的3D目标检测
黎国溥
07-22 2815
F-PointNet融合了视觉图像和激光雷达点云信息； 它出现提出了直接处理点云数据的方案。在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。 论文地址：Frustum PointNets for 3D Object Detection from RGB-D Data 开源代
【3D目标检测】PointNet++
可乐大牛的博客
10-09 977
首先，本文是基于点云，并且直接处理点云数据的3D目标检测网络本文可以看做是对PointNet的一个改进。PointNet我们之前也聊到了。他最初是提取点的特征，然后通过对称函数（max pool）将所有的点特征进行聚合，得到全局点云特征，这就完成了特征提取部分的功能。但是在这个过程中，没有考虑到某些点与周围点之间的关系，没有提取局部的特征，这一点在CNN中大放异彩，因此也就限制了它的细粒度识别能力和泛化能力。
（2-3-01）目标检测与分割：基于PointNet的目标检测与分割+基于Voxel-based的目标检测与分割
最新发布
码农三叔
08-22 908
2.3 目标检测与分割LiDAR目标检测与分割是智能驾驶和机器人领域中的重要任务之一，它涉及从激光雷达（LiDAR）扫描数据中提取和识别目标物体。在本节的内容中，将详细讲解常见的LiDAR目标检测与分割算法。
detectozord:利用PointNet + PCL从点云进行目标检测，分类和姿态估计
05-05
该存储库是用于在计算机视觉中使用pcl和tensorflow的沙箱（实验代码） “细分”是利用pcl从深度传感器中捕获3d点云，应用SAC细分以去除大型平面，通过pcl欧几里德聚类提取从场景中提取细分/数据/模型中预定义3D模型的候选实例，进行分类的管道他们使用点网将其放入预定义的对象集中，然后通过pcl SampleConsensusPrerejective估计其姿势 使用的软件包： python 3.5 x64 https://www.python.org/downloads/release/python-350/ pip install --upgrade https://storage.googleapis.com/tensorflow/windows/cpu/tensorflow-1.0.0-cp35-cp35m-win_amd64.whl pip install scipy
3D目标检测（一）—— 基于Point-Based方法的PointNet点云处理系列
lzzzzzzm的博客
02-20 5333
在3D目标检测中，可以大致分为基于图像、基于点云和基于多模态融合的三种方法。而基于点云处理的3D目标检测中，如何有效处理点云数据信息是其中的重点。常见的处理点云的方法有两种，一种为将无序的点云处理成有规则的体素或者柱体（voxel or pillar）等来进行处理，被称为Voxel-Based，另一种则是直接在原始点云上进行操作的Point-Based方法。本文主要介绍如何Point-Based中的经典网络PointNet，PointNet++和其发展PointNeXt。零、网络使用算法。
point net 测试
freeappleren的博客
06-15 1622
Object Part Segmentation 训练时,报错"ImportError: No module named model"解决措施:part_seg文件夹内的文件train.py 有代码错误,将   "parser.add_argument('--model', default='model', help='Model name [default: model]')"更改为      ...
3D目标检测算法详解_pointnet, pointnet++,frustum-pointnets，VoteNet
ygfrancois的博客
05-10 9901
知识点回顾 什么是点云，如何获得点云。 点云包含了很多信息，除了3维坐标数据之外，还可能包括颜色、分类值、强度值、时间等。 点云数据可以由多种方法获得：1.直接由Lidar激光扫描出点云数据。 2.不同角度的2D图像组合成点云3.由深度图（Depth Map）生成点云，即将图像坐标+深度信息从图像坐标系转换为世界坐标系。 点云和深度图都会出现深度信息的缺失，因为往往传感器只能捕捉物体表面...
基于YOLO的3D目标检测（激光雷达点云）课程设计
03-05
在本课程设计中，我们将深入探讨“基于YOLO的3D目标检测（激光雷达点云）”这一主题。YOLO，全称为You Only Look Once，是一种实时的目标检测系统，最初被设计用于2D图像目标检测。然而，随着自动驾驶、机器人导航等...
Based+3d+object+detection_雷达数据集训练3d目标检测的实例_目标检测_雷达三维_
09-28
在现代的自动驾驶和智能交通系统中，3D目标检测已经成为不可或缺的关键技术，它能够帮助车辆感知周围环境，识别出行人、车辆、障碍物等。本文将深入探讨如何使用雷达数据集进行3D目标检测的训练，并提供一个具体的...
论文阅读笔记 | 三维目标检测——F-PointNet算法
Clichong
11-18 2580
基与鸟瞰图投影的方法（类似MV3D）会在垂直方向上存在物体的遮挡，难以推广到其他更加广泛的真实场景。且现有对深度信息的提取也只限于二维特征图中（一般构造成二维的深度特征图），这样的量化表征方式会模糊自然3d对象的模式。现有工作很少直接对点云数据进行直接处理，此时出现了两个直接基于点云提取特征的结构：PointNet与PointNet++，如何利用这两个新颖结构进行3d目标检测也是难点之一。 F-PointNet的一大创新是利用点云数据来表示深度信息，而不是映射在二维的深度通道上。简单来说，对来自RGB图像
PointNet-ScanNet:在scannet数据集上测试Pointnet ++
05-15
点网扫描网 在scannet数据集上测试Pointnet ++
【基于Ubuntu下pointnet++激光点云目标检测】保姆级教程 | 环境配置 | 数据集下载 | 修改配置 | 训练以及测试 | 全过程图文by.Akaxi
Akaxi的博客
12-23 2873
【基于Ubuntu下pointnet++激光点云目标检测】保姆级教程 | 环境配置 | 数据集下载 | 修改配置 | 训练以及测试 | 全过程图文by.Akaxi
3D检测PointNet++（通俗易懂的解析）
子非余
09-21 1342
3D检测PointNet++（全网最全解析）
【pointNet】基于pointNet的三维点云目标分类识别matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
06-23 2682
matlab2021a这里，采用的pointnet网络结构如下图所示： 在整体网络结构中， 首先进行set abstraction，这一部分主要即对点云中的点进行局部划分，提取整体特征，如图可见，在set abstraction中，主要有Sampling layer、Grouping layer、以及PointNet layer三层构成，sampling layer即完成提取中心点工作，采用fps算法，而在grouping中，即完成group操作，采用mrg或msg方法，最后对于提取
pointnet源码阅读:测试
zhaoguanhua的博客
12-23 1038
一、测试过程 二、可视化 三、6折验证
点云3D目标检测学习(1)：pointnet、pointnet++模型
weixin_44645198的博客
10-08 1339
点云数据处理模型：pointnet++ 1、点云数据 无序性：只是点而已，排列顺序不影响 近密远疏 非结构化数据，直接CNN有点难 2、PointNet整体网络架构 分类任务就是得到整体的特征，得到所述类别的概率 分割就是针对各个点，输出每个点的所属概率 存在问题： 没有局部特征融合，要不就自己，要么就一个整体 没有关系概念，局部样本点之间存在的关系，没有考虑到 PointNet++ 基于半径选择局部区域，得到很多簇 针对得到每个区域进行特征提取（卷积） 主要问题就是在解决：如何选择区域，每个簇的半径大小
3D点云目标检测算法Pointnet++项目实战 Pytorch实现
热门推荐
qq_42446745的博客
09-24 1万+
本人研二在读，3D点云目标检测方向，自动驾驶场景，刚刚复现完成PointNet++分类和分割网络，效果还不错，分享给大家。 Pointnet++算法的原理在此不再赘述，本文专注讲一下重要代码，从输入数据到输出结果展现复现过程。注：复现的是MSG特征拼接方法，MRG的代码作者没有公布出来，代码里还有SSG的，也就是没有做半径特征拼接的原始方法，自己也可以跑一下。 附代码。代码里对重要的语句都进行了详细的注释喔~ 链接：https://pan.baidu.c...
利用层级图网络进行3D目标检测的创新研究
"本文探讨了利用层级图网络(HGNet)进行3D目标检测的可能性，特别是在处理点云数据上的应用。文章引用的论文《AHierarchicalGraphNetworkfor3DObjectDetectiononPointClouds》提出了一种新的图卷积方法，即形状注意图...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值