球面数据的几何深度学习--球形 CNN

已于 2024-03-24 17:21:37 修改
阅读量3.1k 收藏 27
点赞数 16
分类专栏： 深度学习 基础理论 人工智能综合 文章标签： 深度学习 cnn 人工智能
于 2024-03-22 14:40:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongdiwudu/article/details/136819534
版权

目录


在这里插入图片描述

一、说明

   球面数据的几何深度学习–球形 CNN。通过对物理世界的平移对称性进行编码，卷积神经网络 （CNN） 彻底改变了计算机视觉。

二、球形 CNN概述

   在这篇博文中，我们研究了如何将CNN成功的基本原理转移到数据表现出复杂几何形状的问题范围，例如球体。

   这篇博文由来自 Kagenova 的 Oliver Cobb 和 Augustine Mavor-Parker 共同撰写。

   球面数据示例。[照片由 NASA 在 Unsplash 上拍摄]
T在过去十年中，CNN从传统（平面）图像和视频中提取语义意义的能力得到了迅速提高。如果有足够的数据，通常可以达到人类水平的性能。然而，对具有空间结构的数据进行分析远未解决问题。对于各种问题，数据表现出空间结构，但非平面结构。示例包括虚拟现实中的 360° 图像、来自宇宙大爆

了解本专栏 订阅专栏 解锁全文
【论文理解】Spherical CNNS 球面卷积 (获ICLR2018最佳论文奖)
hoppipolla
08-09 5806
【论文阅读】SPHERICAL CNNS引言介绍正文球面与旋转群的相关性基于G-FFT的快速球面相关合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
【论文翻译】点云深度学习综述 -- Deep Learning for 3D Point Clouds: A Survey
csjiangxiaoqi的博客
05-19 5363
1. 介绍   随着3D采集技术的快速发展，3D传感器变得越来越可用，价格也越来越便宜，包括各种类型的3D扫描仪、激光雷达和RGB-D相机（如Kinect、RealSense和Apple depth相机）。这些传感器采集的三维数据可以提供丰富的几何、形状和尺度信息。与二维图像互补，三维数据提供了一个更好地了解机器周围环境的机会。三维数据在不同领域有着广泛的应用，包括自动驾驶、机器人、遥感、医疗和设计行业。   三维数据通常可以用不同的形式表示，包括深度图像、点云、Mesh和体素网格。点云表示作为一种常用的表
推荐文章：深度球面学习——开启神经网络新视角
gitblog_00061的博客
06-25 347
推荐文章：深度球面学习——开启神经网络新视角 SphereNetImplementation for in NIPS'17.项目地址:https://gitcode.com/gh_mirrors/sp/SphereNet 在深度学习的浩瀚星海中，【Deep Hyperspherical Learning】（深度球面学习）犹如一颗璀璨的新星，由Weiyang Liu等一众研究者提出，旨在优化并扩...
什么是几何深度学习（Geometric Deep Learning）?
sinat_39434559的博客
07-26 7014
什么是几何深度学习Geometric Deep Learning?
spherical cnns
xiaoxiao_2446xuxu的博客
06-13 599
卷积神经网络已成为二维平面图像学习问题的一种选择方法，然而，最近人们感兴趣的一些问题产生了对能够分析球面图像的模型的需求。例子包括无人机，机器人和自动驾驶的全方位视觉，分子回归问题以及全球天气和气候模型。卷积网络在球面信号平面投影中天真应用注定失败，因为这种投影引入的空间变化畸变会使平动权值共享失效。 本文介绍了球形cnns的构造模块。提出了一种即具表达性又具有旋转等变异性的球面互相关的定义。...
论文笔记：Spherical CNN
hongbin_xu的博客
06-03 3870
Spherical CNN 1、四个问题 要解决什么问题？ 3D场景下旋转不变性特征的提取。 用了什么方法解决？ 提出了球形卷积操作，也叫作球形互相关（spherical cross-correlation）。球形卷积具有旋转不变性。 为了增强计算效率，使用FFT（Fast Fourier Transform）来计算球形卷积。 效果如何？ 在3D模型识别上效果还不错，与其他深度神经...
DeepSphere-tf1:球形CNN的图实现与多领域应用
由于球面数据的特殊几何结构，传统的平面CNN难以直接应用于其上，球形CNN通过定义适合球面的卷积操作来克服这一困难。 4. 旋转等变性：在机器学习领域，等变性指的是模型对于某些变换保持不变的特性。对于...
DeepSphere-PyTorch: PyTorch实现的球形CNN
综上所述，DeepSphere-pytorch是一个创新性的深度学习框架，它结合了球形CNN和图神经网络，在处理球形数据方面展现出了独特的优势。其应用领域横跨宇宙学和气候科学，对于推动相关学科的研究具有重要意义。
论文阅读-UnrollingNet:一种基于注意力的深度学习方法，用于分割隧道大尺度点云
weixin_43899239的博客
11-11 1137
开发了一种新的。
ICLR 2018最佳论文重磅出炉！Adam新算法、球形CNN等受关注
weixin_34223655的博客
04-12 416
关于Adam算法收敛性及其改进方法的讨论 最近提出的一些随机优化方法已经成功地应用到了神经网络训练任务中，如RMSPROP、ADAM、ADADELTA、NADAM等。这些方法都是基于梯度更新的算法，在更新的过程中，利用了历史梯度平方的指数移动平均值的开方进行缩放。而根据观察，在许多的应用中，如输出空间比较宽泛的情况，这些算法无法收敛到最优解，或是在非凸...
Spherical CNNs：球面卷积网络的一个PyTorch实现-python
06-18
Spherical CNNs：球面卷积网络的一个PyTorch实现 Spherical CNNs 球体和 SO(3) 的等变 CNN 在 PyTorch 中实现 概述 该库包含一个 PyTorch 实现，用于球形信号（例如全向图像、地球上的信号）的旋转等变 CNN，如 [1] 中所示。 平面的等变网络可在此处获得。 依赖 PyTorch：http://pytorch.org/ (>= 0.4.0) cupy：https://github.com/cupy/cupy lie_learn：https://github.com/AMLab-Amsterdam/lie_learn pynvrtc：https： //github.com/NVIDIA/pynvrtc（在新的 conda 环境中安装所有依赖项的命令） conda create --name cuda9 python=3.6 conda activate cuda9 # s2cnn deps #conda install pytorch torchvision cuda90 -c pytorch # 获取正确的命令在 ht
深度超球面学习/Deep hypersphersical learning
06-15
花了一周时间通读这篇论文Deep hypersphersical learning，论文的关键信息已列在文档中。
SphereFace：深度超球面embedding(CVPR2017)
白景屹的博客
05-15 1005
目录前置内容Center LossContrastive Loss摘要1.Introduction2.Related Work2.1.Metric learning2.2.Deep face recognition3.Deep Hypersphere Embedding3.1.重温Softmax 前置内容 Center Loss Center loss来源于ECCV2016，A Discriminative Feature Learning Approach for Deep Face Recogniti.
球面数据拟合算法简介
热门推荐
Inspire
12-05 1万+
当我们手中握有大量的数据时，对于二维的数据，我们会对他们进行直线拟合、对数拟合，圆曲线的拟合等等。这些拟合的方法都是运用的了非常古老而又非常有效的方法，即最小二乘法。 今天给大家介绍一种三维球面数据的拟合方法，该方法也是运用的最小二乘的方法。旨在使拟合的半径在均方意义下误差达到最小。
Spherical CNNs 翻译（未完成）
Sual
04-25 2557
Spherical CNNs 　　这篇文章是ICLR 2018上的Best Paper，由阿姆斯特丹大学发表。 　　原文链接：https://arxiv.org/abs/1801.10130 　　参考：阿姆斯特丹大学论文提出球面CNN：可用于3D模型识别 摘要 　　卷积神经网络（CNNs）已经成为二维平面图像学习问题的首选方法。然后，近期研究中出现的大量问题需要面向球面图像的分析模型...
SpherePHD球面卷积和池化
YoJayC的博客
12-22 944
为了将CNN应用到球形多面体上，需要设计满足下列标准的卷积和池化核： 卷积核应适用于用SpherePHD表示的所有像素点 pixel of interest应该位于卷积核的中心。卷积的输出应该无偏差地维持每个像素点的局部和相邻信息 卷积核的设计应该考虑相邻的三角形像素有不同的朝向 池化核应该将SpherePHD表示的图片(球形多面体表示)从更高的子划分降低到更低的子划分 为了使用传统的二维卷积方法实现SpherePHD中的卷积层，首先用位置索引来表示每个子划分的像素位置。 通过使用给定子划分中的索
《Clebsch–Gordan Nets a Fully Fourier Space Spherical Convolutional Neural Network》阅读笔记
weixin_44846680的博客
04-01 503
《Clebsch–Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network》阅读笔记
When Symmetry Meets CNN--从群等变卷积网络（Group Equivariant CNN）到球面卷积网络（Spherical CNNs)
weixin_42242159的博客
09-12 3151
从群等变卷积网络到球面卷积网络 计划把自己原po在知乎专栏上的文章改进搬过来，最近忙论文先放着。 https://zhuanlan.zhihu.com/p/34042888 本文试图介绍论文Group Equivariant Convolutional Networks的基本工作：建立对称性在卷积网络里的理论框架，并对后续的一些跟进工作如Spherical CNNs进行简介。主要内容...
深度球面学习：探索神经网络新维度
gitblog_00799的博客
08-30 1013
深度球面学习：探索神经网络新维度 SphereNetImplementation for in NIPS'17.项目地址:https://gitcode.com/gh_mirrors/sp/SphereNet 在深度学习的前沿探索中，有一颗璀璨的明星引人注目——深海球面学习（Deep Hyperspherical Learning）。该技术由一群才华横溢的研究者提出，并封装于SphereNet...
PointNet T-Net
最新发布
04-03
### PointNet 中的 T-Net 组件及其功能 PointNet 是一种用于处理点云数据的深度学习架构，其设计旨在解决无序点集输入的问题。为了增强模型的能力并提高几何变换下的不变性和鲁棒性，PointNet 引入了一个子模块称为 **T-Net (Transformation Net)**。 #### T-Net 的结构 T-Net 是一个小型的神经网络组件，专门用来估计输入点云的空间变换矩阵。它通常被嵌套在 PointNet 架构的不同阶段中，具体分为两种形式： 1. 输入变换（Input Transform），应用于原始点云。 2. 特征变换（Feature Transform），应用于中间特征层。 以下是 T-Net 的主要组成部分和工作流程： 1. **多层感知器 (MLP)** 首先，T-Net 使用一系列 MLP 层来提取局部特征。这些 MLP 层逐步增加维度以捕获更复杂的模式[^1]。 2. **最大池化操作 (Max Pooling)** 接下来，通过对所有点应用最大池化操作，将每一点的特征聚合为全局特征向量。这种操作使得整个网络对点的排列顺序不敏感，从而满足点云数据的无序特性需求。 3. **全连接层 (Fully Connected Layers)** 全局特征随后通过几层全连接层进一步加工，并最终输出一个 $K \times K$ 大小的变换矩阵，其中 $K$ 表示输入点的维数（通常是 3 或更高）。对于输入变换而言，这个矩阵是一个 $3 \times 3$ 的旋转矩阵；而对于特征变换，则可能涉及更高的维度。 #### T-Net 的作用 T-Net 的核心目的是使 PointNet 能够适应不同类型的几何变化，特别是平移、缩放以及旋转等刚体变换。它的引入显著增强了模型的泛化能力，即使面对未见过的姿态或尺度差异较大的样本也能保持良好的性能表现。 - **输入变换**：当 T-Net 应用于初始点坐标时，它可以校正点云的整体姿态偏差，确保后续计算更加稳定可靠。 - **特征变换**：如果部署到隐藏层之后，则有助于调整内部表达空间的方向分布，促进更好的分离度与区分力形成。 下面展示一段 Python 实现代码片段，演示如何构建简单的 T-Net 结构: ```python import tensorflow as tf from tensorflow.keras import layers def t_net(inputs, num_points, k=3): # Input Shape: (batch_size, num_points, k) net = layers.Conv1D(64, kernel_size=1)(inputs) net = layers.BatchNormalization()(net) net = layers.ReLU()(net) net = layers.Conv1D(128, kernel_size=1)(net) net = layers.BatchNormalization()(net) net = layers.ReLU()(net) net = layers.Conv1D(1024, kernel_size=1)(net) net = layers.BatchNormalization()(net) net = layers.ReLU()(net) # Global feature vector via max pooling over points dimension global_feature = layers.MaxPooling1D(pool_size=num_points)(net) # Fully connected layers to produce transformation matrix fc_1 = layers.Dense(512)(global_feature) bn_fc_1 = layers.BatchNormalization()(fc_1) relu_fc_1 = layers.ReLU()(bn_fc_1) fc_2 = layers.Dense(256)(relu_fc_1) bn_fc_2 = layers.BatchNormalization()(fc_2) relu_fc_2 = layers.ReLU()(bn_fc_2) weights_init = tf.zeros_initializer() transform_matrix = layers.Dense(k * k, kernel_initializer=weights_init, bias_constraint=lambda x: tf.abs(x) < 0.001)(relu_fc_2) identity = tf.reshape(tf.eye(k), [1, k*k]) transform_matrix += identity return tf.reshape(transform_matrix, [-1, k, k]) # Example usage with batch size of 32 and number of points being processed set to 1024. input_tensor = tf.random.uniform((32, 1024, 3)) transformed_input = t_net(input_tensor, num_points=1024, k=3) print("Transform Matrix:", transformed_input.shape) ``` 上述代码定义了一个通用版本的 `t_net` 函数，接受任意大小批次的数据作为输入参数，并返回相应的转换矩阵。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无水先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值