深度学习的一些基本概念

动机

一些以往不清楚的深度学习方面的基本概念。学习后做下记录。

分类1

• 网络的depth、width、cardinality

  • depth：整个网络的层数
  • width：每一层的通道(channel)数
  • cardinality:首次出现在ResNeXt中， 原文解释为‘the size of the set of transformations’，可理解为同一层网络中的支路数。

  The architecture of neural networks often specified by the width and the depth of the networks. The depth of a network is defined as its number of layers (including output layer but excluding input layer); while the width of a network is defined to be the maximal number of nodes in a layer. The number of input nodes, i.e. the input dimension, is denoted as $n$.
  参考-The Expressive Power of Neural Networks - NIPS Proceedings

• FLOPs

  • floating point operations，意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
  • 与FLOPS（注意全大写）区分开来，FLOPS是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

分类2

• 分组卷积
• 上采样(upsampling)、反池化(unpooling)、反卷积(deconvolution)的理解
  • 待整理，参考CSDN、知乎、distill、Medium