62_LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks 2019 论文笔记

LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks

三维卷积神经网络局部相位的揭示

目录

LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks

三维卷积神经网络局部相位的揭示

代码地址：https://sites.google.com/view/lp-3dcnn/home（400）

关键词：

问题：

原理：

优点：

缺点：

创新点：

实验结果：

（1）ModelNet:与基线网络以及二值化基线网络的比较

（2）ModelNet：与最先进的技术进行比较

PS

---

代码地址：https://sites.google.com/view/lp-3dcnn/home（400）

由于3D卷积计算量大，消耗内存多，此论文提出了修正的局部相位（ReLPV）模块代替3D卷积模块，在3D局部邻域（3×3×3）内提取输入特征图每个位置的相，获取特征图。这个相是通过计算每个位置3D局部邻域内多个固定的低频点的3D短时傅里叶变换（STFT），不同频域点的特征图线性组合输入激活函数。滤波器尺寸大小从3×3×3到13×13×13变化，ReLPV的参数量降低了3^3～13^3倍，相比于标准的3D卷积，ReLPV的效果更好。但是，拥有最复杂的网络架构，多达45层，1.08亿个参数，需要近6天的时间来训练。

STFT的特点：

（1）自然图像中的物体包含尖锐的边缘特征，傅里叶域的信息准确的表示了这些边缘信息。

（2）3D空间中的STFT是窗口傅里叶变换，局部相位有捕获局部特征的能力。

（3）STFT去除了特征的相关性，这是一种较好的正则化方法，这样的3D CNN不易过拟合，且泛化性能更好。

 

关键词：

Rectified Local Phase Volume (ReLPV) block(校正局部相位体积(ReLPV)块：局部相位模块、ReLU激活函数和一组可训练线性权值组成)

ReLPV块代替3D卷积层

 

问题：

3D卷积的几个问题：(1)计算量大；(2)模型尺寸大；(3)易过拟合；(4)特征学习能力有待进一步提升。

 

原理：

Layer 1。这一层是标准的三维卷积层，只有一个大小为1×1×1的卷积核。从上一层输入一个大小为c×d×h×w的特征图，并将其转换为一个大小为1×d×h×w的单通道特征图。

这一层为Layer 2计算的3D STFT操作准备输入。设f(x)为第1层的特征图输出，大小为1×d×h×w。这里，x是一个变量，表示特征图 f(x)上的位置

Layer 2。局部相位曾被用来检测边缘和轮廓，相位表示不同空间频率的局部相干。图像中的边缘和骨架由它们的相干性来表达，在图像理解中起着重要的作用。

               第2层通过公式(1