简单卷积神经网络讲解

卷积神经网络

动机

CNN是一个从生物启发而创建出来的一个多层神经网络，它是hubel 和wiesel共同搞定的。我们知道视觉皮层包含一个复杂的细胞排列。这些细胞对子区的视觉区域比较敏感，叫做易接受区域。这些细胞在这些输入空间上扮演了一个本地过滤器的角色，并且在自然图像上是一个非常适合强空间本地纠正的。

另外，两个基本细胞类型已经被证实了：简单细胞在他的可接受区域负责最大化的去描述物体的边的模式。复杂细胞有更大的区域，来表达模式的具体位置。

动物视觉皮层成为最强大的视觉处理系统。它看起来自然的去模拟它的行为。因此，许多模生模型可以被发现。

稀疏连接

CNN通过强迫一个在临近区域的神经元上之间的本地连接，来进行本地空间纠正。换句话说，隐藏层的输入来自于下层的一个子集。我们可以用下图来展示一下。

在上图中，m-1层就是输入的视网膜，m层的细胞有一个3个宽度的输入层，从临近的视网膜层。m+1层有相同的情况。我们说他们的对输入层的可接受区域对于下层的是3,但是对于输入层的区域是5.每一个单元不负责响应外边视网膜层，这样的架构，保证 学习得到的过滤器可以产生对本地输出模式来说最强的响应。

就像上面展示的那样，通过堆叠很多层，导致了过滤器成为了一个渐进式的全局（ie.向更大的区域像素响应）。举个例子，隐藏层m+1的单元可以编码一个宽度为5的非线性特征

共享的权重

另外，在CNNS，每一个FILTERs Hi 是从整个视觉区域被复制的。这些复制的单元共享相同的参数（权重和偏移）并且形成了一个特征映射。如下图：

在上面的图片中，我们看到3个隐藏的单元属于同一个特征映射MAP。相同颜色的权重是共享的，要求必须是相同的。通过一个对原始算法的一个小的改动，梯度下降法，也可以学习这样的共享参数。共享权重的梯度仅仅是共享参数的梯度的总和而已。

用这种方式复制这些单元，允许我们无视视觉的位置就可以探测到特征参数。 另外通过大幅度的减少要学习的自由参数个数，并共享权重的手段，提高了学习效率。模型中的这些促使CNNS在视觉问题上能够达到更好的泛化效果。

细节和符号

一个特征map是通过重复的对整个图片的一个子区域应用一个函数来得到的，换句话说，通过对输入图片的线性过滤器的卷积，加上偏移将他们变为非线性的函数。如果我们对在给定的K层的第k个特征MAP称做hk, 它的过滤器由权重wk和偏移bk组成，这样的特征MAP hk，是通过下面的方法获得的：

为了形成一个对数据更丰富的表达，每一个隐藏层由多个特征MAP来组成{h(k),k=0…k}.隐藏层的权重W可以用一个4D的tensor来表达， 它包含每个目标特征MAP的所有组合， 源特征MAP，源垂直位置，源水平位置。 偏移B可以用一个向量来表达，该向量里面，每一个目的特征MAP对应一个元素。我们可以用画图来表达：

上图表达了两个层。 层m-1包含了四个特征MAP。 隐藏层 m包含了两个特征MAP，（H0,和h1）. h0 和h1（蓝色和红色的）中的像素(神经元输出的)是从m-1层的像素计算出来的，它是在它的下方2x2的可接受区域里面的（标志颜色的巨型）。注意下，可接受区域如何跨跃四个输入特征MAP的。h0的权重W0, h1的权重W1是一个3D的权重tensors。 引导唯独索引，输入特征MAP，以及另外两个的像素坐标。

我们综合起来看下 ，w(ij)(kl) 表示出了m层第k个特征map中连接每个像素的权重， 像素的坐标是(i,j), 并且，它是m-1层的第l个特征map。

卷积操作

ConvOp是theano中实现卷积层的主要马力。 它通过conv2d来使用，conv2d有两个形参。

• 一个相对于一个迷你批次中的输入图形的4d tensor. 这个tensor的形状如下【迷你批次大小，输入特征的MAP个数，图片的高度，图片的宽度】
• 另一个是相对与权重矩阵W。 它的形状是【m层的特征MAP个数，m-1层的特征map个数，过滤器的高度，过滤器的宽度】

下面是实现一个卷积网络层的的teano代码.这个输入有120x160的大小的3个特征map组成（RGB）。 我们用两个（9x9的可接受区域）卷积过滤器。