Paper reading：CubeNet: Equivariance to 3D Rotation and Translation

最新推荐文章于 2023-09-18 20:24:23 发布
最新推荐文章于 2023-09-18 20:24:23 发布
阅读量911 收藏
点赞数
分类专栏： paper 文章标签： paper pointcloud

标题：CubeNet:Equivariance to 3D Rotation and Translation

作者：Daniel Worrall and Gabriel Brostow，Computer Science Department, University College London,UK

联系方式：{fd.worrall,g.brostowg}@cs.ucl.ac.uk

今天介绍的文章是“CubeNet:
Equivariance to 3D Rotation and Translation”——立方网络: 与三维旋转和平移的等价性。3D卷积神经网络对其输入的变换是敏感的。这会存在一个问题，如果我们将一个体素化的3D对象和它对应旋转后的版本传递到网络的最后一层，两者看起来是无关的。相反，理想化的模型将保留体素化对象的有意义的表达形式，同时也可以解释两个输入之间的姿态差异。一个等价变化的表示向量有两个组成部分：不变的身份部分和一个变换的可辨别编码。无法解释姿态差异的模型，在追求优化分类或回归损失函数时，有可能“稀释”表示。

作者引入了一个群体卷积神经网络，其线性等效于三维平移和直角旋转。作者称这个网络为CubeNet（立方网络），反应了立方体的对称性。通过构造，这个网络在通过连续层转换时，有助于保留3D形状的全局和局部的特征。我们将此网络应用于各种3D推理问题，在ModelNet10数据集和ISBI 2012 Connectome Segmentation
Benchmark获得比较好的成绩。作者称，这是第一个用于体素表示的3D旋转等效CNN。
在这里插入图片描述
如图1所示，在左侧，作者展示的是标准的卷积公式，滑动滤波器W和输入块F之间的标准2D卷积。在右侧，作者显示了2D直角旋转卷积（称为Z4卷积）。

在这里插入图片描述
图4显示了作者在实验中的网络结构。作者使用类似VGG的网络结构来进行ModelNet10的分类挑战，使用类似UNet/FusionNet的网络结构类进行ISBI2012边界分割的数据集。

我们来看下作者在ModelNet10上的实验效果。ModelNet10包含4095个CAD模型，总共有10类，训练集为3991，测试集为914。每个模型与标准框架对齐，然后在Z轴上的12个均匀采样方向上旋转。这些旋转的模型的大小为32x32x32。

在这里插入图片描述

表格2显示，在ModelNet10数据集上的结果。作者和其它使用体素表示数据的方法进行比较，只有一个方法的结果比作者的好，但是Brock等人的方法集合了6个模型。如果只限制单个模型，作者的结果就是暂时最好的。

ISBI 2012挑战是一个体素边界分割的基准。任务是从串行切片透射电子显微镜（EM）图像中分割果蝇腹侧神经索。

在这里插入图片描述

在这里插入图片描述

总的说来，作者提出了一种3D卷积神经网络架构，它与三维直角旋转等效，这依赖于将标准卷积扩展到3D旋转O(∩_∩)O

Felaim
关注
专栏目录
A Survey on Deep Learning Techniques Applied to medical image analysis
程序员光剑
08-13 273
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
超全！SLAM论文与开源代码汇总（激光+视觉+融合）
qq_29462849的博客
10-20 8326
1.代表性视觉SLAM算法论文与开源代码总结2.代表性激光SLAM算法论文与开源代码总结3.代表性激光-视觉融合SLAM算法论文总结激光-视觉-IMU-GPS融合SLAM算法理论与代码讲解...
[论文理解]谐波网络：深度平移和旋转等变Harmonic Networks: Deep Translation and Rotation Equivariance
bxdzyhx的博客
11-30 1526
1.几个问题 1.1 基本信息 CVPR 2017 1.2 做了什么 CNN的旋转和平移等变 1.3 实现方法 引入一个复数滤波器 1.4 创新性 & 局限性 后面有一些文章认为这篇文章中的模型拟合能力有限，因为只有一个滤波器。 2.数学部分 & 模型构建 定义滤波器Wm{W_m}Wm​ Wm(r,ϕ;R,β)=R(r)ei(mϕ+β){W_m}\left( {r,\phi ;R,\beta } \right) = R\left( r \right){e^{i\left( {m\phi .
Rotation and Transform
08-16 87
A transformation matrix describes the rotation of a coordinate system while an object remains fixed. In contrast, a rotation matrix describes the rotation of an object in a fixed coordinate syst...
Translation Equivariance
weixin_43234641的博客
12-30 1212
** Translation Equvariance ** 给出不变性和同变性的具体例子 对平移和旋转的不变性，其实是丢弃了“坐标框架”，而同变性不会丢失这些信息，它只是对内容的一种变换。具体来讲： 左图：平移前的 2 和平移后的 2 的表示是一样的 (比如用 CNN 的池化)，这样我们只能识别出 2 ，根本无法判断出 2 在图像中的位置。 右图：平移前的 2 和平移后的 2 的表示里含有位置这个信息 (比如用 Capsule)，这样我们不但能识别出 2，还能判断出 2 在图像中的位置。 ...
平移不变性：Translation Invariance 与 平移同变性：Translation equivariance
Dontla的博客
02-03 4481
在欧几里得几何中，平移是一种几何变换，表示把一幅图像或一个空间中的每一个点在相同方向移动相同距离。比如对图像分类任务来说，图像中的目标不管被移动到图片的哪个位置，得到的结果（标签）应该是相同的，这就是卷积神经网络中的平移不变性。 平移不变性意味着系统产生完全相同的响应（输出），不管它的输入是如何平移的 。平移同变性（translation equivariance）意味着系统在不同位置的工作原理相...
从Homography矩阵得到旋转和平移量(From Homography to Rotation and Translation)
热门推荐
Footprint：Chengyao's Technical Blog
03-03 3万+
最近在做机器人导航项目，于是就顺手在OpenCV里面将以前看过但是不太理解的从Homography求Rotation和Translation实现了一下代码如下：int calcRTfromHomo(CvMat* H, double t[3], double rodrot[3]){ double r[9]; CvMat _r = cvMat(3, 3, CV_64F, r); //rotation matrix double intrinsic[9]={1, 0, 0, 0, 1, 0,
Mask TextSpotter: An End-to-End TrainableNeural Network for Spotting Text withArbitrary Shapes 中英对翻译
weixin_43882068的博客
05-02 1213
Mask TextSpotter：一种用于识别任意形状文本的端到端可训练神经网络 摘要 最近，基于深度神经网络的模型在场景文本检测和识别领域占据主导地位。在本文中，我们研究了场景文本识别的问题，其目的是在自然图像中同时进行文本检测和识别。我们提出了一个用于场景文本识别的端到端可训练神经网络模型。该模型被命名为Mask TextSpotter，其灵感来源于新近发表的Mask R-CNN。与之前的方法不同，这些方法也是通过端到端可训练的深度神经网络来完成文本发现。Mask TextSpotter利用了简
repnet 代码_RepNet：计算视频中的重复动作
weixin_26726011的博客
08-20 901
repnet 代码While most of us can keep count while exercising or measuring the pulse, it would be great to have something to keep count for us and even provide valuable information about the repeated acti...
Development of path planning, controls and Gazebo simulation for autonomous parking
Simon_Zeng525的博客
01-31 2303
1.0) Background Information Automatic parking or called as autonomous parking is a car manoeuvring system that move a car from traffic lane into parking slot autonomously, but some car still required ...
图像的几何变换的基本运算---scale, rotation, translation
shuijinghua的博客
07-26 4325
图像的几何变换, 打开任意一个图像的编辑器,一般都可以进行对图像进行放大,缩小,旋转等操作,这类操作改变了原图中各区域的空间关系,对于这类操作,通常称为图像的几何变换. 完成一张图像的几何变换需要两个独立的算法,首先,需要一个算法实现空间坐标变换,用它描述每个像素如何从初始位置移动到终止位置,其次,还需要一个插值算法完成输出图像的每个像素的灰度值. 图像像素有2个属性,一个是像素的值,一个是...
图像的基本运算——scale， rotation， translation
weixin_30824599的博客
04-23 769
图像是视觉信息的直接反应，图像呈现出各种各样的特效都是通过图像的基本运算来完成的。图像最基本的运算有三种，分别是scale，rotation 和translation，叫做尺度，旋转和平移。很多图像的特效都可以用这三种基本运算来实现。可以对像素值或者像素的坐标做这些运算来达到特定的效果。 像素有两个属性，一个是像素的值，一个是像素的坐标。像素的值记录了像素的强度信...
[论文理解]深层等变卷积神经网络Rotation Equivariance of Deep Convolutional Neural Network
bxdzyhx的博客
11-21 2228
1.几个问题 1.1 做了什么 提出一种能保证全局旋转等变性的卷积神经网络。 能对四个旋转方向提取特征。 1.2 效果 略 1.3 局限性 只能实现四个方向的旋转，因为矩阵是方形的，最多作用在p4群上。 2.数学部分 2.1 旋转操作 图像函数为f:Z2→Rf:{Z^2} \to Rf:Z2→R。定义旋转变换RRR（这里的R不是实数域的意思）,R(f(x)),x∈Z2R\left( {f\left( x \right)} \right),x \in {Z^2}R(f(x)),x∈Z2相当于将图像顺时针喜欢.
Siamese 目标跟踪：Rotation Equivariant Siamese Networks for Tracking(CVPR2021)
du的博客
04-26 1936
1.Motivation 本文重点是处理目标的平面旋转对Siamese跟踪器性能的不利影响。在没有采取有效解决方案的情况下，目标旋转被认为是最困难的跟踪挑战。 基于深度学习的跟踪算法中使用了CNN，虽然CNN具有平移不变性，但是没有解决旋转问题。视频中存在旋转目标时，现有的跟踪器会受到严重影响。 f(⋅)f(\cdot)f(⋅)和ψθ(⋅)\psi_{\theta}(\cdot)ψθ​(⋅) 分别表示神经网络编码函数和旋转变换函数，由图中可以看出ψθ(f(⋅))≠f(ψθ(⋅))\psi_{\thet
[论文理解]旋转等变向量场网络Rotation equivariant vector field networks
bxdzyhx的博客
11-20 2907
1. 几个问题 做了什么 提出了旋转等变向量场网络Rotation Equivariant Vector Field Networks (RotEqNet)，是一种对旋转等变性（equivariance）、旋转不变性（invariance）和旋转共变性（covariance）进行了编码的CNN网络。 论文中专注于解决“旋转”这一操作，因此下文所述的对象都与旋转有关。 实现原理 每个卷积核被应用在多个方向上，并返回一个矢量场，表示每个空间位置的最高评分方向的大小和角度。 实验效果 相比于一些大型模型，RotE
论文《SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks》
L_YXDE的博客
07-03 1304
论文地址：https://arxiv.org/pdf/2006.10503.pdf SE3-Transformers等变性摘要背景以及相关工作一、自注意力机制（The Attention Mechanism）排列等变性（Permutation equivariance）二、图神经网络（Graph Neural Networks）三、等变性（ Equivariance）Group RepresentationsTensor Field Networks方法3.1 Neighbourhoods3.2 The S
Rotation Equivariant Networks for Tracking论文解读
Soonki的博客
06-16 281
1. Introduction The task of visual object tracking with Siamese networks, referred as Siamese tracking, transforms the problem of tracking into similarity estimation between a template frame and sampled region from a candidate frame. 孪生网络是把追踪任务描述成templat
translation equivaiance 和 translation invariance 的异同
最新发布
幸运的小菜鸟的博客
09-18 344
CNN中的translation equivariance是什么意思？
论文笔记：E(n) Equivariant Graph Neural Networks
qq_40206371的博客
06-29 6716
本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)。 与现有方法相比，EGNN不需要在中间层中计算昂贵的高阶表示，同时仍能获得有竞争力或更好的性能。 此外，虽然现有方法仅限于 3 维空间的等变性，但EGNN很容易扩展到更高维空间。 尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。（inductive bias） 将神经网络限制为和研究问题相关函数的一种有效
PaperPass：中文文献相似度比对系统的发展与技术优势
"PaperPass.Org是一个专注于论文原创性检测的平台，自2007年起提供免费的论文检测服务。该系统运用先进的动态指纹越级扫描技术，拥有庞大的比对指纹库，包括超过9000万篇学术期刊和学位论文，以及10亿级别的互联网...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值