从零开始的pointnet系列学习(一)--pointnet代码阅读

最新推荐文章于 2024-04-26 09:51:11 发布
最新推荐文章于 2024-04-26 09:51:11 发布
阅读量1.3k 收藏 14
点赞数 2
原文链接：https://www.cnblogs.com/Tom-Ren/p/9897812.html
版权

目录

原代码地址，tensorflow版本

T-net

transform_nets.py

首先我们来看T-Net模型的代码，它的主要作用是学习出变化矩阵来对输入的点云或特征进行规范化处理。其中包含两个函数，分别是

  1. 学习点云变换矩阵的:input_transform_net(point_cloud, is_training, bn_decay=None, K=3)

  2. 学习特征变换矩阵的:feature_transform_net(inputs, is_training, bn_decay=None, K=64)

def input_transform_net(point_cloud, is_training, bn_decay=None, K=3):
    """ Input (XYZ) Transform Net, input is BxNx3 gray image
        Return:
            Transformation matrix of size 3xK """
    batch_size = point_cloud.get_shape()[0].value
    num_point = point_cloud.get_shape()[1].value

pointnet 输入维度？
等待debug

    input_image = tf.expand_dims(point_cloud, -1) 
    #转为4D张量，尺寸索引轴从零开始; 如果您指定轴的负数,则从最后向后计数

tf.expand_dims(input, dim, name=None)
e.g.
‘t2’ is a tensor of shape [2, 3, 5]
shape(expand_dims(t2, 0)) --> [1, 2, 3, 5]
shape(expand_dims(t2, 2)) --> [2, 3, 1, 5]
shape(expand_dims(t2, 3)) --> [2, 3, 5, 1]

This operation is useful if you want to add a batch dimension to a single element. For example, if you have a single image of shape [height, width, channels], you can make it a batch of 1 image with expand_dims(image, 0), which will make the shape [1, height, width, channels]

#构建T-Net模型，64--128--1024
    net = tf_util.conv2d(input_image, 64, [1,3],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv1', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 128, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv2', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 1024, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv3', bn_decay=bn_decay)

其中，tf_util.conv2d是作者自己写的函数，函数声明如下

def conv2d(inputs,
           num_output_channels,
           kernel_size,
           scope,
           stride=[1, 1],
           padding='SAME',
           use_xavier=True,
           stddev=1e-3,
           weight_decay=0.0,
           activation_fn=tf.nn.relu,
           bn=False,
           bn_decay=None,
           is_training=None)

mlp网络的定义如上，其输入为点云数据，每一个点云作为一个batch

  • 首先将三通道的点云拓展为4-D的张量，tf.expend_dims()将得到batchn3*1的数据作为网络的输入
  • 随后构建网络，利用1*1的卷积来实现全连接。每一层单元依次为64-128-1024-512-256的网络结构

为什么这样？

  1. 之前的观念是越大的卷积核感受野(receptive field)越大, 看到的信息越多, 提取的特征越好
  2. 使用多个不同尺寸的卷积核, 提取出不同的特征, 再将这些特征合并起来(在通道维度上). 不同角度的特征的表现一般比单一卷积核要好.
    net = tf_util.max_pool2d(net, [num_point,1],
                             padding='VALID', scope='tmaxpool')

#利用1024维特征生成256维度的特征
    net = tf.reshape(net, [batch_size, -1])
    net = tf_util.fully_connected(net, 512, bn=True, is_training=is_training,
                                  scope='tfc1', bn_decay=bn_decay)
    net = tf_util.fully_connected(net, 256, bn=True, is_training=is_training,
                                  scope='tfc2', bn_decay=bn_decay)
                                  
#生成点云旋转矩阵 T=3*3
    with tf.variable_scope('transform_XYZ') as sc:
        assert(K==3)
        weights = tf.get_variable('weights', [256, 3*K],
                                  initializer=tf.constant_initializer(0.0),
                                  dtype=tf.float32)
        biases = tf.get_variable('biases', [3*K],
                                 initializer=tf.constant_initializer(0.0),
                                 dtype=tf.float32)
        biases += tf.constant([1,0,0,0,1,0,0,0,1], dtype=tf.float32)
        transform = tf.matmul(net, weights)
        transform = tf.nn.bias_add(transform, biases)

    transform = tf.reshape(transform, [batch_size, 3, K])
    return transform

通过定义权重[W(256,3K), bais(3K)]，将上面的256维特征转变为3*3的旋转矩阵输出。

同样对于特征层的规范化处理，其输入为n64的特征输出为6464的旋转矩阵，网络结构与上面完全相同，只是在输入输出的维度需要变化：

def feature_transform_net(inputs, is_training, bn_decay=None, K=64):
    """ Feature Transform Net, input is BxNx1xK
        Return:
            Transformation matrix of size KxK """
    batch_size = inputs.get_shape()[0].value
    num_point = inputs.get_shape()[1].value
	
	#构建T-Net模型，64--128--1024
    net = tf_util.conv2d(inputs, 64, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv1', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 128, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv2', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 1024, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='tconv3', bn_decay=bn_decay)
    net = tf_util.max_pool2d(net, [num_point,1],
                             padding='VALID', scope='tmaxpool')

    net = tf.reshape(net, [batch_size, -1])
    net = tf_util.fully_connected(net, 512, bn=True, is_training=is_training,
                                  scope='tfc1', bn_decay=bn_decay)
    net = tf_util.fully_connected(net, 256, bn=True, is_training=is_training,
                                  scope='tfc2', bn_decay=bn_decay)
	
	#生成特征旋转矩阵 T=64*64
    with tf.variable_scope('transform_feat') as sc:
        weights = tf.get_variable('weights', [256, K*K],
                                  initializer=tf.constant_initializer(0.0),
                                  dtype=tf.float32)
        biases = tf.get_variable('biases', [K*K],
                                 initializer=tf.constant_initializer(0.0),
                                 dtype=tf.float32)
        biases += tf.constant(np.eye(K).flatten(), dtype=tf.float32)
        transform = tf.matmul(net, weights)		
        transform = tf.nn.bias_add(transform, biases)

    transform = tf.reshape(transform, [batch_size, K, K])
    return transform
···
mlp网络定义每一层的神经元数量为64--128--512--256。同样在得到256维的特征后利用weight(256\*K\*K), bias(K\*K)来计算出K\*K的**特征旋转矩阵**，其中K为64,为默认输出特征数量。
# MLP处理点云
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200329210120768.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2MDYxOQ==,size_16,color_FFFFFF,t_70)
在得到点云的规范化选择矩阵后，将原始输入进行处理。旋转后的点云point_cloud_transformed作为MLP的输入抽取特征。此时输入是旋转后的点云，并通过一个两层的mlp（64--64）得到了64维的特征
# mlp处理特征
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200329210522422.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2MDYxOQ==,size_16,color_FFFFFF,t_70)
方法同点云
# Max Pooling（对称函数）得到全局特征
此时每个输入点从三维变成了1024维的表示，此时需要对n个点所描述的点云进行融合处理以得到**全局特征**，源码中使用了最大池化层来实现这一功能
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200329210651941.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2MDYxOQ==,size_16,color_FFFFFF,t_70)
```python
# Symmetric function: max pooling
    # 最大池化，二维的池化函数对点云中点的数目这个维度进行池化，n-->1
    net = tf_util.max_pool2d(net, [num_point,1],
                             padding='VALID', scope='maxpool')

分类

利用上面的1024维特征，就可以基于这一特征对点云的特性进行学习实现分类任务，PointNet利用了一个三层感知机MPL(512–256–40)来对特征进行学习，最终实现了对于40类的分类.
在这里插入图片描述

net = tf.reshape(net, [batch_size, -1])

    # 定义分类的mpl512-256-k, k为分类类别数目
    net = tf_util.fully_connected(net, 512, bn=True, is_training=is_training,
                                  scope='fc1', bn_decay=bn_decay)
    net = tf_util.dropout(net, keep_prob=0.7, is_training=is_training,
                          scope='dp1')
    net = tf_util.fully_connected(net, 256, bn=True, is_training=is_training,
                                  scope='fc2', bn_decay=bn_decay)
    net = tf_util.dropout(net, keep_prob=0.7, is_training=is_training,
                          scope='dp2')
    net = tf_util.fully_connected(net, 40, activation_fn=None, scope='fc3')

分割

对于分割任务，需要加入局域信息来进行学习。所以分类任务的输入包括了1024维的全局信息还包括了n*64的从点云直接学习出的局部信息。PointNet的做法是将全局信息附在每一个局部点描述的后面，形成了1024+64=1088维的向量，而后通过两个感知机来进行分割：
在这里插入图片描述

# 定义分割的mpl512-256-128  128-m, m为点所属的类别数目
    net = tf_util.conv2d(concat_feat, 512, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='conv6', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 256, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='conv7', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 128, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='conv8', bn_decay=bn_decay)
    net = tf_util.conv2d(net, 128, [1,1],
                         padding='VALID', stride=[1,1],
                         bn=True, is_training=is_training,
                         scope='conv9', bn_decay=bn_decay)

    net = tf_util.conv2d(net, 50, [1,1],
                         padding='VALID', stride=[1,1], activation_fn=None,
                         scope='conv10')
    net = tf.squeeze(net, [2]) # BxNxC

某些用到的功能

  1. with … as… 一种初始化语句
  2. tf作用域

数据集说明

待填充

参考文献

tensorflow官网
三维点云网络PointNet——模型及代码分析

kou5321
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【点云系列】PoinNetVLAD：Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
weixin_43882112的博客
11-23 4286
文章目录1. 概要2. 动机3. 方法问题定义整体网络框架4. 实验数据集说明：5. 参考 1. 概要 一句话：第一篇基于深度学习的点云点特征的点云检索文章 论文：https://arxiv.org/abs/1804.03492 代码：https://github.com/mikacuy/pointnetvlad 说明：原版代码是tensorflow的，github上有pytorch版本，可自行寻找使用哈。 2. 动机 首先普及一下，场景识别是点云检索的一种实例。主要针对自动驾驶当中，可识别当前场景是否在已
个人笔记——PointNet初学
sunfei05的博客
05-17 1万+
PointNet是斯坦福大学发表在2017年CVPR上的一篇处理点云数据的论文。相较于之前其他处理点云数据的论文，其最大的不同是，对于点云数据，会直接进行处理，而非将点云数据进行格式化处理，从而避免了将点云数据格式化后，产生的unnecessarily voluminous以及像素点失真的问题。从这一点上来说，PointNet具有极其重要的意义。从传统思路来讲，通过将点云数据转换成3D像素数据后，...
entt：游戏满足现代C ++的要求-一个快速，可靠的实体组件系统（ECS）等
01-30
EnTT是一个仅用于标头的小巧易用的库，用于游戏编程，而更多的内容是用现代C ++编写的。 ，Mojang在使用了该，Esri在使用了该，以及了不起的 Autodesk Maya插件。 如果您在列表中没有看到您的项目，请打开一个问题，提交PR或在主题中添加标签！ :thumbs_up: 你要赶不上变化或者你有不要求你打开一个问题一个问题吗？ 加入或并结识像您这样的其他用户。 我们越多，对每个人都越好。 想知道为什么您的调试版本在Windows上这么慢，或者如何用组件表示层次结构？ 如果您有这些或其他疑问，请查看和 ，您的答案可能已经存在。 如果您使用EnTT并想表示感谢或支持该项目，请考虑成为。 您可以帮助我有所作为。 那些支持我并且今天仍然支持我的人。 目录 介绍 实体组件系统（也称为ECS ）是一种架构模式，主要用于游戏开发中。 有关更多详细信息： 该项目开始时只是一个纯实体组件系统。 随着时间的流逝，代码库随着越来越多的类和功能的增加而增长。 以下是目前提供的简短但不完整的清单： 类型的静态生成的整数标识符（在编译时或运行时分配）。 用于人类可读资源名称的const
[PointNet代码详解]PointNet各模块代码实现超详细注释
controlourself的博客
03-27 729
网络分成了分类网络和分割网络两个部分，大体思路类似，都是设计表征的过程分类网络设计global feature，分割网络设计point-wise feature两者都是为了让表征尽可能discriminative，也就是同类的能分到一类，不同类的距离能拉开。因此，该模型需要能够从附近的点捕获局部结构，以及局部结构之间的组合相互作用。例如，同时旋转和平移点不应该改变全局点云的类别，也不应该改变点的分割。它有三个主要的属性:与图像中的像素阵列或体素网格中的体素阵列不同，点云是一组没有特定顺序的点。
探索PointNet-Autoencoder：三维点云处理的新里程碑
最新发布
gitblog_00093的博客
04-26 392
探索PointNet-Autoencoder：三维点云处理的新里程碑 项目地址:https://gitcode.com/charlesq34/pointnet-autoencoder 项目简介 在机器学习和计算机视觉领域，PointNet-Autoencoder是一个基于深度学习的框架，用于处理和理解三维（3D）点云数据。由Charles R. Qi等人创建，该项目构建于流行的深度学习库Tens...
PCA-特征提取
蜗牛
05-22 4万+
介绍在这篇文章中，我们讨论主成分分析（PCA）是如何工作的，以及它如何被用来作为分类问题的降维技术。在这篇文章的末尾，出于证明的目的提供了Matlab源代码。在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪
深度学习点云分割：PointNet系列和代码.zip
04-18
而"深度学习点云分割：PointNet系列和代码.txt"可能提供了PointNet算法的详细解释和实现代码，可以帮助读者深入理解并实践点云处理技术。 总的来说，点云分割是自动驾驶的关键技术，PointNet系列算法为此提供了有效...
Pointnet2_PyTorch:Pointnet2Pointnet++的PyTorch实现
08-03
Pointnet2/Pointnet++ PyTorch 项目状态：未维护。 由于时间有限，我没有更新此代码的计划，也不会响应问题。 用 PyTorch 编写的 Pointnet2/Pointnet++ 的。 通过支持多 GPU。 支持 PyTorch 版本 >= 1.0.0。 使用来...
pointnet++代码（亲测可用）
12-06
记录PointNet PyTorch版本的学习PyTorch版本PointNet作者Tensorflow版本页面上给出的github地址，这里数据集PyTorch版本只给出了ModelNet的数据，只能进行部件分割，但是我想测试S3DIS数据集，所以下载了原作者给的...
point-nerf复现代码
05-30
point-nerf复现代码，github上提供的源码比较乱，而且在复现的时候一直出现bug，于是在测试point-nerf时将里面的代码进行了更改。在源码的基础上，将nerf_synth360_ft_dataset.py；evaluate.py；test_ft.py；...
PointNet++代码pytorch版本
03-29
@article{Pytorch_Pointnet_Pointnet2, Author = {Xu Yan}, Title = {Pointnet/Pointnet++ Pytorch}, Journal = {https://github.com/yanx27/Pointnet_Pointnet2_pytorch}, Year = {2019} }
基于深度学习方法的点云算法1——PointNetLK（点云配准）
zhazhaqiangdedad的博客
05-18 9180
作者将PointNet看成一个可学习的成像函数（learnable “imaging” function），然后就可以将用于图像对齐的LK算法应用于点云配准。作者主要贡献如下： （1）修改LK算法，使其适用于PointNet； （2）将LK与PointNet相结合得到PoinNetLK。 本文为深度学习在点云配准中的应用开辟了新的途径。..................
【论文笔记】点云配准 PointNetLK: Robust & Efficient Point Cloud Registration using PointNet CVPR 2019
phy12321的博客
08-25 4075
PointNetLK: Robust & Efficient Point Cloud Registration using PointNet CVPR 2019 论文笔记 CMU ，富士通 ，Argo AI 代码地址 ： 地址 reference： 链接 本文针对点云配准的问题，提出PointNetLK. **核心思想：**把点云＄P_T＄和PSP_SPS​通过PointNet网络映射到和ϕ(PT)和ϕ(PS)\phi(P_T)和\phi(P_S)ϕ(PT​)和ϕ(PS​)，目标是找出一个刚性
三维深度学习之pointnet系列详解（一）
热门推荐
qq_15332903的博客
05-09 12万+
目前二维深度学习取得了很大的进步并且应用范围越来越广，随着三维设备的发展，三维深度学习得到了很大的关注。最近接触了三维深度学习方面的研究，从pointnet入手，对此有了一点点了解希望记录下来并分享，若有误希望指正~持续更新以下所有的解读基于点云分类。一、三维深度学习简介二、点云存在的问题三、pointnet网络结构详解四、pointnet代码详解五、参考文献一、三维深度学习简介多视角（multi...
点云深度学习系列博客(四): PointNet代码精讲
09-14 3986
最近开始上手点云深度学习项目，相比之前纸上谈兵的阶段，此时我将把更多的精力放在代码学习和复现上。在新的学习阶段，就不能是看看论文，蜻蜓点水的配下别人的代码这么简单了。我将逐句分析代码功能，结合实际应用，来深入理解点云深度学习的项目该如何落地。作为点云深度学习的代表作，PointNet的经典程度不言而喻。我们就以PointNet的模板，来展开相关代码的实现，并完全复现PointNet的基本功能。对于那些零基础，计划入坑点云深度学习的同学，不妨看看。
3.5 特征提取和降维
qq_45047246的博客
07-18 2220
特征提取用于提升模型的表示能力 数据降维主要是在不减少模型准确率的情况下减少数据的特征数量 1.主成分分析（PCA） 在多元统计分析中，主成分分析是一种分析、简化数据及、提取主要成分的技术。在实际问题中，特征之间可能存在一定的相关性，在这种情况下就存在重叠的信息，主成分分析可以通过少数的特征来保留原始数据及中的大部分分析，从而减少数据维度。较大的特征值保留数据较为主要的信息，保留的每个主成分是将所有原始数据特征进行线性组合，PCA在保留原始数据主要信息的情况下减少数据的维度。 但是主成分分析效果主要依赖于给
多标签分类
Marshall的专栏
06-27 4767
多标签分类（multilabel classification ）多标签分类（multilabel classification ）多标签分类问题caffe 每个样本对应多个label？ 使用caffe训练一个多标签分类/回归模型使用caffe fine-tune一个单标签图像分类模型基于caffe的googlenet的多标签检测https://github.com/Numeria-Jun/mul...
tensorflow编程一些需要知道的 - 4
mao_feng的博客
03-30 1156
训练1024维特征的数据集合，multi-label， 转成多个1的onehot的label, 2个全连接。很直接的顺序编程，练习、便于理解
PointNet代码详解
moumde的博客
06-02 1万+
PointNet代码详解 最近在做点云深度学习的机器人抓取，这篇博客主要是把近期学习PointNet的一些总结的知识点汇总一下。 PointNet概述详见以下网址和博客，这里也就不再赘述了。 三维深度学习之pointnet系列详解 PointNet网络结构详细解析 PointNet论文理解和代码分析 PointNet论文复现及代码详解 这里着重来探讨一下内部的代码（pointnet-master\models路径下的）。 PointNet原文及Github代码下载 详细的网络结构图如下 主要讲一下应该注意
pointnet C++推理部署--OpenVINO框架
03-24
PointNet是一种深度学习网络结构，用于处理点云数据，可用于许多应用程序，例如3D物体分类和分割。在C语言中进行PointNet推理部署需要使用OpenVINO框架，该框架支持神经网络模型的优化和加速推理，从而实现高效的网络推理部署。为了进行PointNet模型在OpenVINO框架中的部署，需要执行以下步骤：首先，使用TensorFlow或PyTorch等框架训练PointNet模型，并将其导出为OpenVINO支持的中间表示(IR)格式。然后，使用OpenVINO工具链对IR格式的模型进行编译和优化，以生成可在特定设备上执行的最终可执行文件。最后，使用OpenVINO API在目标设备上运行可执行文件来进行推理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值