学习笔记：Adaptive Convolutional Kernels

学习笔记：Adaptive Convolutional Kernels

Abstract

背景：

1. 随着图像识别的发展，我们发展的卷积神经网络已经像复杂化和深度化发展。为了减少计算复杂网络的资源要求，我们的工作引用了自适应内核的；
2. 启发于人眼下拨的非线性感知——权重由动态变化的内核启发，我们在神经网络中也可以加入自适应内核；
3. 我们的自适应内核被用于执行第二次卷积运算来生成输出特征；

自适应内核优势：
1.显著减少内存的使用，（在相同的识别精确度的情况下）。这是依靠减少kernels的数量，同时减少卷积所需的层数（与传统的CNN网络相比）；
2.同时还可以减少训练次数/时间，减少激活函数的计算。

Introduction

背景1：CNN已经展现了其最先进的能力在CV task中（目标检测、语义分割、分类等）。目前大多数的研究都在往越来越深的深度与更复杂的模型发展，这种更复杂的模型所带来的好处便是更抽象的特征可以被表达；
挑战：无法使用在便携式设备之中，例如手机、无人机等考虑到其模型的尺寸和计算成本；
解决方法1：传统方法，我们提出尝试较小的模型，这些较小的模型需要较少的训练资源和计算量，但是他们的进度却不尽人意。
背景2：研究表明，人眼的中的视觉细胞的是类似非线性函数。根据启发，我们知道了非线性模型可以提高CV任务的识别性能。 典型的CNN卷积层是由线性系统表示，而他的表达能力受中间层类型和神经元数量的限制。而我们使用非线性神经元可以解决此类非线性问题。
解决方法2：这种非线性方法可以提供与传统CNN相似的性能，同时还可以降低其计算和内存使用。我们提出的方法是使用输入的图像来设置滤波器，而滤波器又能根据输入的图像提取特征。并且我们的工作可以适合大多数现有的CNN架构。
贡献：

1. 在一定内存条件下我们定义了非线性卷积层为了高精度图像分类;
2. 根据我们提出的非线性卷积层，我们提出了一个深层神经网络。这些神经网络部分已经预定义并且可以自定义（在图像评估、输入、运行阶段）；
3. 我们提出了一种处理问题的方法与高要求的深度神经网络

最后介绍了接下来section的大致内容。在section2中我们介绍了relate work，section3中我们介绍了我们提出的方法的详细解释，section4中我们介绍了不同数据集获得的不同实验结果；section5我们从获得的结果中得出结论。

Relate work

提出来非线性function的逼近器，为了提高提出抽象特征的能力，我们将典型CNN的kernels替换为了非线性的approximator。我们没有像传统方法一样去定义新的滤波器（窗口滑动）
我们的方法：卷积上的滤波器是根据输入动态产生的滤波器；

---

Method：

自适应内核是被定义为动态滤波器，那种可以根据输入图像来改变自身权重的滤波器。这种自适应内核是通过传统的内核而产生的。如图一所示，每个3x3的自适应内核都由一个3x3的线性滤波器生成。

为了生成这个自适应内核K，我们先要将3x3中滤波器中的一个与3x3图像中的一个进行卷积运算，从而生成u,v

接着我们使用激活函数tanh，确保值在（-1 ，1）的范围内；
接着，我们将刚刚生成好的K与输入图像X在此卷积生成S（图二所示，红色剪头）

最后一步，使用双曲正切作为激活函数（如f（s）= tanh（S））来计算输出像素。

Experiment and result

我们提出的自适应内核的实现是使用caffe框架，用python去自定义编写的。我们做了关于前向传播和反向传播的两个基本的实验和测试，
我们使用的数据集是MNIST和CIFAR-10，我们针对模型设置了balabal的参数
我们提出的方法的优势：减少了内存，提高了精度，胜过传统的CNN模型，并且提高了学习速度

Conclusion

这项工作中，我们引入了自适应卷积核的概念，它能够在推理时间内并根据输入图像动态地重新定义卷积核，与传统CNN相比，我们提高了泛化能力，检测速度、精度、训练时间。基于这些我们的解决方案可以复制到嵌入式系统等。