目标检测共性问题与详解

1、目标检测一阶段和两阶段的核心区别？

二阶段的核心思想是首先提出proposal框，通过第一阶段网络回归预测出目标框的位置、大小及前景的概率，第二阶段通过另一个网络回归出目标框的大小、位置及类别；一阶段的核心思想是对于输入图像，直接回归出大小、位置及类别

2、目标检测两阶段比一阶段精度高的原因？

1）、正负样本不均衡：

二阶段在RPN网络中对前景和背景进行了分类和检测，这样就可以选择性的选择样本，正负样本趋于平衡，然后对一些重点参数进行分类训练，二一阶段既要做分类也要定位，最后基层中1*1的Conv的loss都混合在一起，没有明确的分工，哪些是做分类，哪些是回归，学习难度就增加了

2）、样本的不一致性

NMS

3、如何解决目标检测中密集遮挡问题？

对于非目标造成的遮挡：一般都是加 掩膜、扰动、提高算法能力加强训练；

对于检测目标造成的遮挡：一般通过smooth L1使回归目标与GT框接近

4、狭长目形状目标检测有什么合适方法？

使用可旋转的 bounding box进行标注； 手工设计 anchors

5、如何解决动态目标检测？

1）、光流法：基于梯度的方法，利用图像序列的时空微分计算2d速度场（光流），计算简单效果好

2）、相邻帧差法：前后两帧图像对应的像素值相减，在环境亮度变化不大的环境下，如果差值很小，认为物体是静止的，反之是运动的;

3)、背景差法：将输入图像和背景模型进比较，通过判定灰度或用直方图统计灰度值来判断异常和分割运动

6、FPN的作用？

FPN是卷积神经网络中图像金字塔的应用，顶层特征上采样后和底层特征融合，每层独立预测。高层特征向底层特征融合，增加底层特征表达能力，提升性能；不同尺度特征可以分配到不同预测层，达到分而治之。通过1 * 1 的卷积调整通道数，然后直接 add，之后进行 3 * 3 的卷积操作，消除上采样的混叠效应。缺点是消耗内存。

7、为什么FPN采用融合以后效果要比使用pyramidal feature hierarchy这种方式要好？

卷积过程中会存在像素错位的问题，上采样很好的缓解了像素不准的问题；

backbone 可以分为浅层网络和深层网络。浅层网络负责提取边缘特征，深层网络可以提取更高级的语义特征，通过 FPN网络，可以将深层提取到的语义特征和浅层网络提取的边缘特征进行融合，指导浅层网络进行识别。浅层网络感受野比较小，适合小目标，深层网络感受野比较大，适合大目标

8、如何解决小目标识别问题？

小目标：32 * 32 ，现有数据集占比少、分辨率低、图像模糊、携带的信息少、能提取到的特征少；网络计算过程中为了加快计算，通常都会有下采样，信息损失较多。

1）、利用 GAN网络生成高分辨率图片；

2）、Data Augmentation(数据增强)：随机裁剪、旋转、缩放和马赛克，copy pasting：增加小目标数量，缩放和拼接；

3）、修改模型输入尺寸：

4）、修改小目标的 Anchor；

6）、多尺度学习。FPN、空洞卷积，通过多尺度将下采样前的特征进行保留，尽力保留小目标；

7）、减小下采样的stride步长；

8）、SPP模块：增加感受野，对小目标有效果；

9）、损失函数：小目标大权重

10）、在Head 和Backbone部分添加注意力机制，来增强目标特征提取能力

9、YOLO和 SSD的区别？

yolo：将物体检测定义为bbox和分类置信度的回归问题。将整张图像输入，划分为S*S个grid，每个cell预测b个bbox及对应的分类置信度。分类置信度是bbox属于某个物体的概率与真是IOU相乘的结果；

ssd：空间问题：不同尺度下的特征预测不同的物体

yolo:卷积层后连接全连接层，只利用了最高层featureMaps，ssd是金字塔结构利用了不同层的featureMaps，在多个featureMaps上同时进行softmax分类和位置回归

9、前景 背景样本不均衡解决方案？

硬采样方法、软抽样方法、无抽样方法、生成方法

1）、Focal Loss:在训练的过程中调整每个样本迭代的权重，即把搞置信度的样本损失降低

10、如何解决训练数据样本过少的问题？

利用预训练的模型进行迁移学习（fine-tuning）

11、如何解决类别不平衡问题？

Focal Loss: 转注难样本。可以动态调整权重。对正负样本进行加权，使得所有样本都可以得到学习，在学习的过程中将容易分类的样本权重降低，难的样本权重调高

12、NMS的改进思路？

使用自适应的方法在目标系数时使用小阈值，目标稠密时使用大阈值，如Adaptive NMS;

13、CIOU：重叠面积、中心点距离、长宽比。是在DIoU的基础上增加了检测框尺度的loss，增加了长和宽的loss，这样预测框就会更加符合真实框