《论文阅读》An Efficient PointLSTM for Point Clouds Based Gesture Recognition

最新推荐文章于 2024-06-25 09:40:08 发布
最新推荐文章于 2024-06-25 09:40:08 发布
阅读量1.5k 收藏 5
点赞数
分类专栏： 计算机视觉 深度学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/109321182
版权

留个笔记自用

An Efficient PointLSTM for Point Clouds Based Gesture Recognition

做什么

在这里插入图片描述
Gesture Recognition手势识别，常见的手势识别使用的是RGB视频
在这里插入图片描述
这里论文使用的是Shrec’17 track: 3d hand gesture recognition using a depth and skeletal dataset所提供的数据集，也就是手部手势识别

做了什么

在这里插入图片描述
这里将手势识别表述为一个不规则序列识别问题，相比于RGB数据，点云精确地描述了物体表面潜在的几何结构和距离信息。
上图的a情况是假象型，假设的是当前帧也就是第t帧的点云中每个点都能找到t-1帧的点云中的点与它对应，也就是下一帧时点云中点的变化轨迹都能对应，然后使用同样的点轨迹进行状态更新
然后就是b类型，连接当前点的特征和先前点的相邻状态，使用加权共享的LSTM来更新每个点对的状态，然后汇聚一下，这样的话就防止了两帧间点云没有对称的情况，t帧点可以找t-1帧的相邻点
上面两者图中的s就是坐标，f是特征，两个组成一个点的元素

怎么做

首先还是老样子，定义一个输入P
在这里插入图片描述
这里的P表示某一帧的点云，总共有T帧，整个P是一个点云序列，每个时刻的P有Pi(t)个即nt个点
然后这里假设的是可能出现第二种情况，也就是可能点云中的点不存在时间序列的对应关系（但也不排除对应可能）
每个点可以解释成两个部分，一个d维的坐标xi和一个m维的特征fi，N(xi)是这个点pi的邻域
在这里插入图片描述
常见的LSTM可以这么定义👆
接下来假设两种情况来对上式进行改变，第一种Point-independent states也就是点独立情况，第二种Point-shared states也就是点共享情况
首先是独立情况
这里点独立的意思是每个点pi均有它独立的隐藏状态hi和细胞状态ci。
对于每个点对(pi(t)，pj(t-1))，这里的意思就是t帧的第i个点和t-1帧的第j个点，这里的j个点均是第i个点的邻域。之后就可以对其更新
在这里插入图片描述
在这里插入图片描述
首先，先将两个对应点的坐标作相对差，再和当前帧的特征concat起来作为当前对应的特征提取。使用LSTM对这个对应关系的h和c进行更新。最后再将i点的所有邻域中的对应关系通过一个g函数（max-pool层）聚合在一起。最终得到这个点pi(t)的h和c
在这里插入图片描述
然后是点共享情况
这里就是为了节约时间和资源，假设在第t帧中的所有点都共享一个隐藏状态h和细胞状态c
在这里插入图片描述
在这里插入图片描述
整体的公式和上面解释几乎相同，区别就是从对应关系改成了点，从点改成了帧，这里的g改成了avg-pool
在这里插入图片描述
定义完了更新方式，来回头看看怎么定义邻域
这里也假设了两种定义邻域的方式。第一种是Direct grouping，第二种是Aligned grouping
首先是Direct grouping，这种定义邻域方式就很简单了，根据p点在t帧的位置，在t-1帧使用knn来寻找邻域点
第二种是Aligned grouping，这里的意思是根据两帧中的 centroid point质心点的移动来进行其余点的对齐
在这里插入图片描述
简单来说就是计算t帧所有点的中心点和t-1帧所有点的中心点，计算这两个中心点的位移后就默认将t帧所有其余点的位移与中心点的位移方式相同
接下来就是整体模型结构的展现
在这里插入图片描述
整体结构有5个stage，第一个stage是用spatial grouping提取内部特征，第二个stage到第四个stage是用spatial-temporal grouping and density basedsampling提取内部特征。
在这里插入图片描述
这里的基于密度的采样的意思就是，对于点pi在位置xi，r是knn的半径大小，这里的意思就是计算x邻域的密度大小，根据小密度来进行点的sample选择
第五个stage是提取点状特征，然后再使用一个max-pooling得到全局特征。具体点说，这里的baseline使用的是FlickerNet
在这里插入图片描述
第一个stage的feature extrator和第二到第四个的feature extrator均是PointNet++中的类似结构。
PointLSTM可以直接嵌入现有的模型结构中，同时这里为了验证PointLSTM在不同stage中的效果，还设计了多款
首先是PointLSTM-raw，这里是将第一个内部特征的提取层直接换成PointLSTM
然后是PointLSTM-early, middle, and late，这里是将第二个stage到第四个stage的三个部分分别换成PointLSTM。最后也展示了各自的结果↓
在这里插入图片描述

总结

1.非常值得学习的一种做法，同样也算是一个即插即用的
2.感觉在点的对应上还有很大的上升空间，因为这种对应方式无法适应非常快速的运动

未知丶丶
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
An Efficient PointLSTM for Point Clouds Based Gesture Recognition[CVPR2020]
cxy666
06-16 1249
论文链接 \qquad本文提出了一种在保留空间结构的前提下实现信息从过去帧传播到未来帧的PointLSTM方法来对序列点云数据做手势识别和动作识别。PointLSTM通过权值共享的LSTM层，将过去帧邻近点的状态信息与当前特征相结合，更新当前状态。这种方法可以集成到许多其他的序列学习方法中。 \qquad近年来RNN和LSTM在序列建模上取得了成功，利用LSTM可以从时空的一致性捕捉到运动和外观随时间的变化。论文中所使用的长短期记忆网络为一般的LSTM： h(t),c(t)=LSTM(y(t),h(t−1)
[MICCAI 2019 | CVPR 2020] 图数据，点云相关文章总结综述，一篇即可看完文章模型结构和创新
qq_38214318的博客
11-12 7733
[1] Integrating 3D Geometry of Organ for Improving Medical Image Segmentation，MICCAI2019，Part5 器官形状和位置的先验知识在医学影像分割中起着重要作用。但是，传统的2D / 3D分割方法通常以像素/体素分类器的方式工作，其训练目标无法明确地合并3D形状知识。本文中提出了一种深度形状感知网络来学习器官的3D几何形状。更具体地说，该网络在基于图形的CNN中使用3D网格表示，可以有效处理形状推断和精度传...
探索手势识别新境界：高效点云LSTM（PointLSTM）深度解析与应用
最新发布
gitblog_00097的博客
06-25 286
探索手势识别新境界：高效点云LSTM（PointLSTM）深度解析与应用 项目地址:https://gitcode.com/VIPL-SLP/pointlstm-gesture-recognition-pytorch 在快速发展的计算机视觉领域中，手势识别已成为人机交互的重要桥梁。今天，我们要为大家介绍一个前沿的开源项目——PointLSTM，该成果基于2020年的CVPR会议论文，它不仅展现了在...
CVPR 2020 论文大盘点-人体姿态估计与动作捕捉篇
我爱计算机视觉
06-18 9879
本文盘点CVPR 2020 所有人体姿态估计（Human Pose Estimation）、手势识别（Gesture Recognition）、人体形状与姿态估计（HumanShape...
PointRNN:PointRNN，PointGRU和PointLSTM的TensorFlow实现
05-01
PointRNN 结构 PointGRU 点式STM 移动点云预测 安装 该代码已通过Red Hat Enterprise Linux Workstation 7.7（Maipo），g ++（GCC）5.3.1，TensorFlow v1.12，CUDA 9.0和cuDNN v7.4进行了测试。 安装TensorFlow v1.12： pip install tensorflow-gpu==1.12 为编译CUDA层，我们将其用于最远的点采样（FPS）和半径相邻搜索，以及倒角距离（CD）和地球移动器距离（EMD）： cd modules/tf_ops/3d_interpolation && make cd modules/tf_ops/approxmatch && make cd modules/tf_ops/grouping && make cd modules/tf_ops/nn
关于$P Point-Cloud Recognizer （点云手势识别）的理解
while(alive) { step++; }
09-02 3979
在Unity3D当中有一个FingerGesture的插件，这个插件可以让你在普通的屏幕上以鼠标模拟手机触摸屏的Touch事件，从而方便调试，另外，这个插件还可以帮忙让Unity项目在红外边框触摸屏下正常的发挥触摸作用。关于这款插件的使用，我这边先不多说，下面主要说一下的是这个插件当中的一个有趣的功能——自定义手势识别所用到的算法。 这个算法就是：$P Point-Cloud Recog
An efficient algorithm for the nearest neighbourhood search for point clouds
12-27
这两种算法均来源于ANN(A library for Approximate Nearest Neighbor Searching)库，是当前kNN搜索领域较为成熟的解决方案。 - **评价指标**：主要关注算法的计算时间，即完成一次完整的kNN搜索所需的时间。 - **...
Multi-View 3D Object Recognition in Point Clouds
05-22
### 多视图3D物体识别在点云中的应用 #### 摘要与背景介绍 本文探讨了一种快速而稳健的多视图3D物体识别方法，该方法旨在处理大规模工业或城市街道数据中的3D物体识别问题。现有的3D物体识别方法通常依赖于复杂的...
Hierarchical model generation for architecture reconstruction using laser-scanned point clouds
02-11
Hierarchical model generation for architecture reconstruction using laser-scanned point clouds
Attention Models for Point Clouds in Deep Learning A Survey.pdf
09-25
在深度学习领域，点云（Point Clouds）的处理已经成为一个关键的研究焦点，尤其是在计算机视觉和机器人任务中。点云是一种重要的数据格式，能够保留3D空间中的原始几何信息，无需离散化。随着深度学习在各种任务上的...
$P Point-Cloud Recognizer 点云手势识别 PPT介绍
03-02
$P Point-Cloud Recognizer 点云手势识别 介绍
Attention Models for Point Clouds in Deep Learning A Survey.zip
09-23
因此，研究人员发展了一系列适应点云特性的网络架构，如PointNet、PointNet++等。 二、PointNet与PointNet++ PointNet是首个直接处理点云的深度学习模型，它通过全局MaxPooling操作捕获点云的全局上下文信息，实现...
论文阅读笔记 | 三维目标检测——PointNet
Clichong
11-15 908
同时，在后续的提取特征中，同样对特征进行规范空间中的对齐。操作方法类似，也是利用提取后的特征通过T-Net获得仿射矩阵再作用到特征上实现变换，不过由于特征的维度一般比较大，难以优化，所以训练会添加一个正则化项，将特征的仿射矩阵转化为一个正交矩阵，同时正交矩阵是不会在输入中丢失信息的。这里PointNet用了很简单的方法，就是把这里获得的全局特征拼接到每个点的局部特征上，完成了局部特征与全局特征的结合，后续再使用一个共享参数的MLP来对这个局部和全局拼接的特征进行降维，再进行后续分割任务，对每个点进行分类。
【全文翻译】PointRNN: Point Recurrent Neural Network for Moving Point Cloud Processing
冯子材的博客
07-04 3381
摘要 在本文中，我们介绍了用于移动点云处理的点递归神经网络（PointRNN）。在每个时间步长，PointRNN都将点坐标P∈Rn×3和点特征X∈Rn×d作为输入（n和d分别表示点数和特征通道数）。 PointRNN的状态由点坐标P和点状态S∈Rn×dl（dI表示状态通道的数量）组成。同样，PointRNN的输出由P和新的点特征Y∈Rn×dll（dII表示新特征通道的数量）组成。由于点云是无序的，因此无法直接操作两个时间步的点特征和状态。因此，采用基于点的时空局部相关来根据点坐标聚合点特征和状态。我们还提出
ECCV20| 3D目标检测时序融合网络
3D视觉工坊
09-15 1731
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达本文转载自「计算机视觉工坊」，该公众号重点在于介绍深度学习、智能驾驶等领域，一个小众的公众号。论文题目：An LSTM Approa...
深度学习：LSTM简介
热门推荐
小马哥的博客
03-01 1万+
循环神经网络（Recurrent Neural Network,RNN） RNN是一种用于处理序列数据的神经网络。相比一般网络，他能够处理序列变化的数据。比如某个单词的意思会因为上下文提到的内容不同而有不同的含义，RNN就能够很好的解决这类问题。 其主要形式如图所示： 其中： x为当前状态下数据的输入，h 表示接收到的上一个节点的输入 y为当前节点状态下的输出，h‘为传递到下一个节点的输出 通过...
时间序列神器之争：Prophet VS LSTM
福禄网络研发团队的博客
06-11 2843
一、需求背景 我们福禄网络致力于为广大用户提供智能化充值服务，包括各类通信充值卡(比如移动、联通、电信的话费及流量充值)、游戏类充值卡(比如王者荣耀、吃鸡类点券、AppleStore充值、Q币、斗鱼币等)、生活服务类(比如肯德基、小鹿茶等)，网娱类(比如QQ各类钻等)，作为一个服务提供商，商品质量的稳定、持续及充值过程的便捷一直是我们在业内的口碑。 在整个商品流通过程中，如何做好库存的管...
CVPR2020 | 中科院VIPL实验室录取论文详解
深度学习大讲堂
03-09 2191
编者按：近日，计算机视觉顶会 CVPR 2020 接收论文结果揭晓，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。中科院VIPL实验室共七篇论文录取，内容涉及弱...
street tree extraction and segmentation from mobile lidar point clouds based
08-03
街道树木从移动激光雷达点云中的提取和分割是一项基于激光雷达技术的任务，旨在识别和定位城市街道上的树木。移动激光雷达通过扫描周围环境并记录返回的激光脉冲来获取三维点云数据。在进行树木提取和分割任务时，需要对点云数据进行处理和分析。 首先，对点云数据进行预处理，包括去除噪声和离群点。然后，使用聚类算法将点云数据分为不同的群集。由于树木通常具有密集且连续的点云分布，聚类算法可以识别出树冠的形状和边界。 接下来，使用分割技术将树木从其他环境中的点云分离出来。分割方法可以基于点云的特征信息，如高度、颜色和形状等。通过分析这些特征信息，可以将树木与其他地面上的物体（如建筑物、道路、车辆等）区分开来。 在进行分割后，可以应用形态学和滤波等算法对树木进行形态学特征的提取和优化。这些操作有助于进一步减少噪声和提高树木的准确性。 最后，根据树木的位置信息，可以创建树木分布地图或树木数据库，用于城市规划、环境监测和生态保护等领域。这些信息可以帮助城市管理者更好地了解和保护城市绿化资源。 总的来说，街道树木从移动激光雷达点云中的提取和分割是一项技术复杂的任务，通过对点云数据进行处理和分析，可以准确地定位和识别出城市街道上的树木，为城市绿化管理提供有价值的信息。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值