Composited FishNet论文详解

论文名称：Composited FishNet: Fish Detection and Species Recognition From Low-Quality Underwater Videos

Abstact

(研究问题的重要意义，现在存在的问题，引出研究内容，研究内容的好处，本文创新点，实验结果)

为了实现复杂水下环境下的鱼类识别和定位，本文提出了一种基于复合主干和增强路径聚合网络的复合鱼类检测框架——复合鱼网。通过对残差网络(ResNet)的改进，设计了一种新的复合骨干网络(CBresnet)来学习场景变化信息。

1. Introduction

(研究背景，应用背景引出理论背景，证明本文研究方向的必要性，为了解决上述提出的问题，本文进行了如下研究，有了何等的贡献)

主要贡献：

1. 在主流网络ResNet主干网络上增加了一个辅助网络（源域主干网络）来学习源域信息。利用相邻的高层合成将辅助网络与骨干网络连接起来，消除了复杂源域信息对目标特征的干扰，也有利于下一步特征信息融合。
2. 为了解决FPN网络中的线性上下采样不能有效利用主干网络输出的对象特征信息的问题。本文采用了像素混洗上采样的设计和较小的卷积核学习上采样信息。
3. 在损失函数的设计上，考虑了鱼类数量的巨大差异。为了使生成的正样本和负样本的比例接近1：3，损失函数在回归分类中使用focal loss函数，候选框损失函数使用Iou loss。
4. 使用组合主干网络的思想来学习水下源域信息，以提高目标特征提取的性能。

2. Related work

（目标检测背景，主干网络背景，评价指标）

陆地目标检测和水下目标检测主要区别：图像源域风格不同。当前主流目标检测缺乏对网络结构中源域信息的学习。复杂源域信息指：亮度、鱼类位置、海底结构、水生植物运动、鱼类形状和纹理差异引起的场景变化。
客服源域信息对目标的干扰有助于提高检测精度。
水下图像增强：视觉恢复无法提高该领域的检测性能，召回率相对较低，导致特征映射减少
骨干网络：Cascade RCNN的backbone：ResNet
加入辅助骨干网络，在不使用Fish的情况下学习源域的背景信息。通过up-conv的方法从上层骨干网络特征信息中减去学习到的背景特征，消除冗余背景特征信息。左高右低（相邻高层合成）特征信息融合更有利于增强目标特征信息。在FPN中，使用最邻近插值或者双线性插值。上采样核仅由像素的空间位置确定，不使用特征映射上的语义信息。
因此，本文将上采样改为像素混洗，更关注鱼的形状特征信息。（解决了线性上采样导致的特征语言信息利用不足的问题）

3. 提出的模型

（创新点）

A.模型网络结构
辅助主干网络被称为源域主干网络，用于学习源域的背景信息。
为消除复杂源域信息干扰，通过使用相邻高层合成方法，从主干中特征信息减去从辅助特征网络中学习的源域信息。利用骨干网络的目标输入加强特征信息，有利于特征信息融合。
不同的高底层特征融合后（EPAnet）将生成2000多个候选框，使用Cascade RCNN识别正负样本，对候选框过滤和分类。

B.主干网络的对比设计
本文使用组合主干网，在原有主干网的基础上增加源域主干网，可以自适应学习每个源域场景信息。通过辅助残差块网络学习的特征信息具有更高语义信息，高级特征语义信息和骨干网络特征信息的融合可以更好的挖掘图像中的目标信息。

C.特征网络的设计
任务：识别各种形状和大小的物体
解决方案：构造一个多尺度特征金字塔。利用卷积网络特点，构造不同大小的特征映射，实现高低语义信息的融合。
FPN引入自顶向下的通道，PANet在结构上优于FPN，增加了一个自底向上的通道。采样方法中仍使用线性插值，导致原始高级特征信息在上采样过程中再次丢失。
为提高骨干网络输出的高级和低级特征信息的利用率，采用跳转连接的方法来将骨干网络输出信息与EPAnet输出信息合并。
针对上采样不能很好的学习和重建高分辨率特征地图信息的问题，将PAnet中上采样的办法替换成PixelShuffle上采样方法。通过多通道融合，学习相邻像素，使重建的特征图像纹理信息更加丰富，而不是简单的线性插值。BiFPN使用跳连，但是BiFPN本质为高效主干网络设计，不适用ResNet。

D.损失函数
IoU loss将位置信息视为一个整体进行训练，最小二乘误差（I2）损失函数将其作为四个独立变量进行训练。
focal loss可以降低易分类样本权重，使训练模型在训练过程中更加关注难分类样本。

3. 实验

（数据集（水下问题说明）+对比+消融）

4. 结论

（本文提出了啥，实验结果我最好）

本文提出了一种组合模型（CBresnet50+EPANet），用于复杂水下环境中的鱼类识别和定位。在级联cadeR-CNN模型中加入辅助学习网络，消除冗余水下背景的干扰，从而提高骨干网络对目标信息的输出。此外，对原FPN结构的上采样方法转变为像素洗牌，更加关注鱼的形状特征信息，从而解决了线性上采样带来的特征信息利用不足的问题。实验结果表明，与之前的两阶段目标检测算法相比，该模型具有较高的AP和AR得分。在MS-COCO数据集中对AP和AR的评价下，AP、AP50和ARmax=10分别为75.2%、92.8%和81.1%。本文将组合主干网络的思想应用于水下源域信息的学习，有利于提高水下目标检测的精度，具有一定的实际应用效果。在未来，可以对网络模型进行进一步的优化，使其更加轻量级，同时保证了检测精度，并将该算法应用于其他领域。