YOLOv5结合跨局部连接
一、前言
PANet[1]最大的贡献是提出了一个自顶向下和自底向上的双向融合骨干网络,同时在最底层和最高层之间添加了一条“short-cut”,用于缩短层之间的路径。PANet还提出了自适应特征池化(Adaptive Features Pooling)和全连接融合(Fully-connected Fusion)两个模块。其中自适应特征池化可以用于聚合不同层之间的特征,保证特征的完整性和多样性,而通过全连接融合可以得到更加准确的预测mask。
PANet采用的是R-CNN系列Two-Stage检测模型,在分类和分割部分的网络结构也有些许差异,下面我们结合代码对PANet进行详细的分析。
PANet
PANet的网络结构如图1所示,它由5个核心模块组成。其中(a)是一个FPN[2],(b)是PAN增加的自底向上的特征融合层,(c)是自适应特征池化层,(d)是PANet的bounding box预测头,(e)是用于预测掩码的全连接融合层。
二、基于增强式的多尺度特征融合方式。
1.
跨局部连接(Cross-Local Connections, CLC)是一种用于深度神经网络的特征融合技术,旨在实现多尺度特征融合。在 CLC 中,我们在不同层次的特征图上添加额外的卷积层以增强模型的特征表达能力。以下是关于 CLC 的理论、作用和公式说明:
理论&