卷积神经网络CNN

1、卷积网络仅仅是在其至少一个层中使用卷积代替一般矩阵乘法的神经网络。
2、在卷积网络术语中，卷积的第一个参数（函数x）通常称为 输入 ，第二个参数（函数w）作为 内核 。 输出 有时称为 特征映射(feature map) 。
3、在机器学习应用中， 输入通常是多维数据数组，并且内核通常是由学习算法调整的多维参数数组。我们将这些多维数组称为 张量（tensors）。
4、卷积通常对应于非常稀疏的矩阵。稀疏矩阵：在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。定义非零元素的总数比上矩阵所有元素的总数为矩阵的稠密度。
5.卷积利用三个重要的想法，可以帮助改进机器学习系统:
稀疏的连接（sparse interactions）
参数共享（parameter sharing）
等值表示（equivariant representations）
此外卷积可以处理各种大小输入。
6、Sparse Interactions：这是通过使内核小于输入来实现的。
7、需要存储更少的参数，这既减少了模型的内存需求，又提高了其统计效率。
计算输出需要更少的操作。
在深卷积网络中，较深层中的单元可以与输入的较大部分间接交互。
8、在卷积网络的较深层中的单元的接收场大于在浅层中的单元的接收场。这意味着即使卷积网络中的直接连接非常稀疏，更深层中的单元也可以间接地连接到所有或大部分输入图像。
9、Parameter sharing：参数共享是指对模型中的多个函数使用相同的参数。
也可以叫 Tied Weights（捆绑权值），因为应用于一个输入的权重的值与在其他地方应用的权重的值有关。
10、在卷积神经网络中，卷积核中的每一个元素都会在input中的每一个位置使用。
11、在存储器要求和统计效率方面，卷积比密集矩阵乘法显着更有效。
卷积是描述在整个输入上应用小的局部区域的相同线性变换的变换的非常有效的方式。
12、卷积网络的一个典型层由三个阶段组成:
在第一阶段，该层并行执行几个卷积以产生一组线性激活（linear activation）。
在第二阶段，每个线性激活通过非线性激活函数，例如整流线性激活函数。这一阶段成为 detector stage.
在第三阶段，我们使用池化函数（pooing function）来进一步修改层的输出。
13、pooling function是用附近的汇总统计来替换特定位置的网络的输出。
14、卷积等效于使用傅立叶变换将输入和内核两者转换到频域，执行两个信号的逐点乘法，并使用逆傅里叶变换转换回到时域。
15.有三种不需要监督学习来获得卷积内核的策略：
一个是简单地 随机初始化它们。
另一个是用手设计它们，例如通过设置每个内核以在特定方向或尺度检测边缘。
最后，可以使用无监督标准来学习内核。
随机滤波器在卷积网络中通常工作得很好。
16、一个折中的方法是学习特征， 每个梯度步骤不需要完全正向和反向传播的 方法。 与多层感知器一样，使用贪婪层式预训练 ，独立地训练第一层，然后从第一层提取一次所有特征，然后利用这些特征隔离的训练第二层，等等。
不是一次训练整个卷积层，我们可以训练一个小补丁的模型，如用k-means。 然后，我们可以使用来自这个patch-based的模型的参数来定义卷积层的内核。
今天，大多数卷积网络以纯粹监督的方式训练，在每次训练迭代中使用通过整个网络的完全正向和反向传播。