瓶颈结构和沙漏结构

《百面深度学习》读书笔记

 

瓶颈结构

瓶颈结构能够降低大卷积层的计算量，即在计算比较大的卷积层之前，先用一个1x1卷积来压缩大卷积层输入特征图的通道数目，以减少计算量。在大卷积完成计算之后，根据实际需，有时候会再次使用一个1x1 卷积来将大卷积层输出特征图的通道数目复原。

结构一般是：小通道数的1x1卷积层+一个较大的卷积层+大通道数的1x1卷积层（可选）

瓶颈结构可以增加网络层数，所以特征提取能力可能会有相应的提升。该结构基本上可以用于所有的卷积神经网络中。

 

沙漏结构

沙漏结构一般包括两个分支：

（1）自底向上（bottom-up）分支：利用卷积、池化等操作将特征图的尺寸逐层压缩（通道数目可能增加），类似于自编码器中的编码器（encoder）

（2）自顶向下（top-bottom）分支：利用反卷积或插值等上采样操作特征图的尺寸逐层扩大（通道数可能降低），类似于自编码器中的解码器（decoder）

沙漏结构应用：TDM（Top-Down Modulation）、FPN（Feature Pyramid Network）、RON（Reverse connection with Objectness prior Networks）、DSSD（Deconvolutional Single-Shot Detector）、RefineDet模型。

在这些应用中，沙漏结构的作用一般是将多尺度信息进行融合；同时，沙漏结构单元中堆叠的多个卷积层可以提升感受野，增强模型对小尺寸但又依赖上下文的物体（如人体关节点）的感知能力。