机器学习术语总结-7--个人向

PS：一只正在学习机器学习的菜鸟。术语组成主要是深度学习（入门圣经）+维基百科+自己的理解。写这个主要是因为在自己学习过程中有一些术语查了又忘，忘了又查。。。所以写篇博客记录一下，也供未来复习检验用。术语不是按学习顺序记录的，涉及到的具体的算法和数学推到请查阅相关书籍。某些部分是基于自己的理解写出来的话，比较通俗易懂，错误的还请大家指正。同时可能会在文末放上自己学习上没弄明白的点和一些需要注意的点，也希望大神能评论指出。
一.术语
1.卷积神经网络(convolutional neural network, CNN))

卷积网络，也叫做 卷积神经网络(convolutional neural network, CNN)，是一种专门用来处理具有类似网格结构的数据的 神经网络。例如时间序列数据(可以认为是在时间轴上有规律地采样形成的一维网 格)和图像数据(可以看作是二维的像素网格)。卷积网络在诸多应用领域都表现优 异。卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。

2.稀疏交互(sparse interactions)

也叫做 稀疏连接(sparse connectivity)或者 稀疏权重sparse weights))的特征。这是使卷积神经网络中核的大小（维度）远小于输入的大小（维度）来达到的。举个例子， 当处理一张图像时，输入的图像可能包含成千上万个像素点，但是我们可以通过只 占用几十到上百个像素点的核来检测一些小的有意义的特征，例如图像的边缘。这 意味着我们需要存储的参数更少，不仅减少了模型的存储需求，而且提高了它的统 计效率。这也意味着为了得到输出我们只需要更少的计算量。这些效率上的提高往 往是很显著的。

3.平移不变性

是指当我们对输入进行少量平移时，经 过池化函数后的大多数输出并不会发生改变。局部平移不变性是一个很有用的性质，尤其是当我们关心某个特征是否出现 而不关心它出现的具体位置时。例如，当判定一张图像中是否包含人脸时，我们并 不需要知道眼睛的精确像素位置，我们只需要知道有一只眼睛在脸的左边，有一只在右边就行了。

4.池化函数

池化函数使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。 例如， 最大池化(max pooling)函数给出相邻矩形区 域内的最大值。其他常用的池化函数包括相邻矩形区域内的平均值、L2 范数以及基于据中心像素距离的加权平均函数。不管采用什么样的池化函数，当输入作出少量平移时，池化能够帮助输入的表示近似不变(invariant)。

5.步幅（CNN中的）

我们有时会希望跳过核中的一些位置来降低计算的开销(相应的代价是提取特征没有先前那么好了)。我们可以把这一过程看作是对全卷积函数输出的下采样 (downsampling)。如果我们只想在输出的每个方向上每间隔 s 个像素进行采样，那么我们可以定义一个下采样卷积函数 c 使得

我们把 s 称为下采样卷积的 步幅(stride)。当然也可以对每个移动方向定义不同的步幅。

6.平铺卷积(tiled convolution)

平铺卷积对卷积层和局部连接层进行了折衷。这里并不是对每一个空间位置的权重集合进行学习， 我们学习一组核使得当我们在空间移动时它们可以循环利用。这意味着在近邻的位置上拥有不同的过滤器，就像局部连接层一样，但是对于这些参数的存储需求仅仅会增长常数倍，这个常数就是核的集合的大小，而不是整个输出的特征映射的大小。

其实就是有几个卷积核，然后大家循环来用，不像标准卷积只有一个卷积核，也不用局部连接层每个都不一样。

7.可分离的(separable)

当一个 d 维的核可以表示成 d 个向量(每一维一个向量)的外积时，该核被称为可分离的。当核可分离时，朴素的卷积是低效的。它等价于组合 d 个一维卷积，每个卷积使用这些向量中的一个。组合方法显著快于使用它们的外积来执行一个 d 维的卷积。并且核也只要更少的参数来表示成向量。如果核在每一维都 是 w 个元素宽，那么朴素的多维卷积需要 O(wd) 的运行时间和参数存储空间，而可 分离卷积只需要 O(w × d) 的运行时间和参数存储空间。当然，并不是每个卷积都可 以表示成这种形式。

二.tips

1.将小的局部区域上的相同线性变换应用到整个输入上，卷积是描述这种变换的极其有效的方法。

2.当我们提到神经网络中的卷积时，我们通常是指由多个并行卷积组成的 运算。这是因为具有单个核的卷积只能提取一种类型的特征，尽管它作用在多个空 间位置上。我们通常希望网络的每一层能够在多个位置提取多种类型的特征。