神经网络中的跳跃连接：ResNet、DenseNet、CSPNet、RNN/LSTM网络解析

ResNet（Residual Network）

• 结构特点：

  • 残差块（Residual Block）：
    • 在每个残差块中，输入数据经过多个卷积层后，会与未处理的原始输入相加。（一般是一对一的加法操作）
    • 这种加法操作称为快捷连接（shortcut connection），用于在输入和输出之间创建直接路径。
  • 典型层次结构：包含多个残差块，整个网络结构通过堆叠多个这样的块来构成。

• 关键结构形式：

  • [X] -> [Conv Layer*] -> [X + F(X)]
    • 其中[Conv Layer*]代表一系列卷积运算，F(X)代表卷积结果。

DenseNet（Densely Connected Convolutional Networks）（密集卷积网络）

• 结构特点：

  • 密集块（Dense Block）：
    • 每一层接受之前所有层的特征图作为输入。这意味着层l接收层0到l-1的所有输出。
    • 合并操作通常是通过连接（而非加法）。
  • 过渡层（Transition Layers）：
    • 用于连接不同Dense块，通常涉及降维处理以减少计算量（比如使用1x1卷积和池化层）。

• 关键结构形式：

  • [X0, X1, ..., Xl-1] -> [Concat] -> [Conv and Norm] -> Xl
    • Concat用于连接所有之前的输出特征图。

CSPNet（Cross Stage Partial Network）

• 结构特点：

  • 跨阶段部分块（Cross Stage Partial Block）：
    • 首先，将输入特征图分成两部分，通过不同路径进行处理，其中一部分直接通过（未处理或轻量处理），另一部分通过密集特征提取。
    • 在后阶段，两部分在特定的点重新合并，融合这些特征。
  • 这种分开与合并的策略减少信息冗余，优化计算效率。

• 关键结构形式：

  • [X] -> Split->[Part1 (shortcut), Part2 (dense operations)] -> [Merge]
    • Split将特征分开处理，Merge重结合不同路径处理的特征。

RNN (Recurrent Neural Network)

结构和作用:

• 结构特点: 使用循环连接，同一层在时间序列中逐步传递信息。
• 目标: 处理序列数据，如时间序列或文本。
• 限制: 随着时间步长增加，可能出现梯度消失或爆炸。

LSTM (Long Short-Term Memory)

结构和作用:

• 结构特点: 在RNN基础上，引入了记忆单元和门控机制（输入门、遗忘门、输出门）。
• 目标: 缓解RNN的梯度消失问题，更好地处理长期依赖。
• 应用: 广泛用于语言模型、机器翻译等序列任务。
• 例子: 在文本生成任务中，LSTM通过携带长期依赖信息，能够生成连贯的文本。

 

总结

1. ResNet使用一对一的残差连接，使输入数据直接穿过卷积层的结果进行加法。

2. DenseNet采用了密集连接，每一层都连接到之前所有层，强调特征的重用。

3. CSPNet通过分开和合并特征的策略，让网络分阶段处理部分特征，这种结构通过减少冗余在保持高性能的同时优化计算。

4. RNN和LSTM的连接方式不同于前面提到的卷积网络中的跳跃连接，但它们在序列数据处理中利用类似的思想来解决不同的问题。