LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks
3D卷积计算量大,消耗内存多,论文提出了修正的局部相量(ReLPV)模块替换标准的3D卷积,在3D局部邻域(3×3×3)内提取输入特征图每个位置的相,获取特征图。这个相是通过计算每个位置3D局部邻域内多个固定的低频点的3D短时傅里叶变换(STFT),不同频域点的特征图线性组合输入激活函数。滤波器尺寸大小从3×3×3到13×13×13变化,ReLPV的参数量降低了到倍,相比于标准的3D卷积,ReLPV的效果更好。
3D卷积的几个问题:(1)计算量大,(2)模型尺寸大,(3)易过拟合,(4)特征学习能力有待进一步提升。
方法介绍
定义3D CNN网络的特征图为,其中h,w,d和c分别为特征图的宽、高、深及通道数目。
ReLPV模块是3D卷积层的替换表示,有四层结构,下图显示了ReLPV的结构: