卷积神经网络记录（一）基础知识整理

卷积神经网络记录

最近一段时间在学习卷积神经网络的知识，看了很多博客和资料之后，决定自己写一篇记录一下学习地知识，巩固一下所学。

1.卷积神经网络与全连接神经网络的异同

首先来看卷积神经网络之前的网络的异同，两种神经网络结构对比图如下：

在结构上，两种网络看起来不同，实际上还是很相似的。两者都是通过一层一层的节点组织起来的，在训练过程上也是基本一致。两种神经网络的的区别就在于相邻两层的不同节点之间的连接方式，对于全连接网络（FC）,位于相邻两层上的任意两个节点都是连接的，而卷积神经网络（CNN）的相邻两层之间，只有部分节点相连。

那么，为什么会有CNN网络呢？ 显然，对于FC，输入数据的所有信息都会得到有效的利用，因为通过全连接的方式，每一点信息都会对训练过程做出“ 贡献 ”， 这是它的优点，但是，当处理图像数据的时候，这就反而成了累赘， 之前使用 FC 处理MNIST数据集，第一层上有 784 个节点，因为我们的图像是 28 * 28 ， 仅仅是这样的小图片，需要进行更新的参数已经很多了，显然，对于更大的图片，这样的过程是吃不消的。因此，CNN 应运而生，之后会介绍到 CNN 通过权值共享等等方法，有效地解决了这个问题。

2.卷积神经网络的重要概念

卷积是什么

不管是什么算法，当牵扯到数学层面的时候，都不太好理解 (￣m￣），但是理解之后都会更清楚整个过程。
如果去查卷积的概念，可能会出现这样的定义：
卷积（convolution） 是通过两个函数 $f$， $g$ 生成第三个函数的一种数学算子，表征函数$f$ 与 $g$ 经过翻转和平移的重叠部分的面积。数学定义如下：
$$h(x)=f(x)\cdot g(x)=\int f(t)\cdot g(x-t)d_{(t)}$$
不好理解，事实上，在卷积网络上使用的离散卷积，也就是不连续的，它是一种运算方式，也就是按照卷积核，将输入对应位置的数据进行加权和运算，接下来结合卷积核的概念，就会很好理解了。如果想要进一步理解卷积，可以在知乎上查找这一问题：
如何理解CNN中的卷积
其实不知有这一篇文章，另外还有很多问题下的回答都做了解释，这里就不一一列举了。

卷积核的概念

接上面，卷积核是整个网络的核心，训练CNN的过程就是不断更新卷积核参数直到最优的过程。

卷积核的定义：对于输入图像中的一部分区域，进行加权求和的处理，其中这个过程的权重，由一个函数定义，这个函数就是卷积核。（这个地方，在有些资料可能会将卷积核解释为权重矩阵，当然概念其实不是很重要，直接将卷积核理解为一种运算方式就可以了）
下面看图解，这样会更直观的理解这个计算过程：

左边的 Image 是输入的数