2022/9/20-9/23周报

---

周报内容：

1. 焊接电路板数据集
2. 精读论文汇报
3. 基础知识学习
4. 下周工作计划

---

学习产出：

一、焊接电路板数据集

1.飞桨数据集(698MB)

（1）链接：pcba - 飞桨AI Studio

（2）示例：（600张）

 2.micro-PCB Images（12GB）

（1）链接：micro-PCB Images | Kaggle

（2）示例：

 （3）数据集介绍

该数据集共包含  13 个微型 PCB 的8，125 张高分辨率图像。所有图像的平均大小为 1949×2126（宽度×高度）。在理想的照明条件下，微型PCB在相对于相机的25个不同位置拍摄。在每个位置，每个微型PCB都以5种不同的旋转方式捕获。这为每个微型PCB创建了相对于相机的125个独特方向。每个独特的方向被捕获4次并编码用于训练，然后捕获另一个相同品牌和模型的微型PCB并进行编码以进行测试。因此，在训练中使用的微型PCB与测试中使用的微PCB都不相同。尽管为训练而编码的微型PCB与为测试而编码的微型PCB几乎相同，但在某些情况下存在非常细微的差异。总体而言，数据集中的每个微型PCB都有500个训练图像和125个测试图像，从而创建了6，500/1，625的总体训练/测试拆分。

二、精读论文汇报

小样本目标检测综述笔记

在小样本目标检测应用中，样本容量受限， 因此 Ew 往往是很大的所以需要寻求新的解决方案。

小样本检测应用就需要使用先验知识来弥补样本的不足。 根据目标检测的理论数学模型， 解决问题的方法大体上可以分为三类： 数据域、模型域和算法域。

数据域的解决方案就是做数据增强， 通过数据量的增大解决模型不收敛的问题；模型域的解决方案是限制模型复杂度， 降低假设空间的大小，使得模型收敛加快；算法域的解决方案则是提供一个更快捷的搜索策略。

1. 数据域解决方式

 基本原理：增强原有数据集对真实分布的近似

（1）转化原有数据集

图像增强：采用图像变换增加样本容量，包括：图像翻转 、图像剪切、图像缩放 、图像旋转 、图像亮度变换 、图像色调和饱和度变换（图像增强方案AutoAugment， 创建了一个数据增强策略的搜索空间）。

图像转换： 通过类似应用的先验知识，将原有数据集扩增为新的数据集，引入新的特征信息(先验知识难得到)。

转化原有数据集的方式在小样本中精度提升不高，但不需要过多地考虑样本的属性和任务的特点， 可以作为图像预处理的步骤而被普遍地使用。

（2）迁移其他数据集

通过有相同目标存在的大量数据来扩增数据， 通过由原有数据集 Ｄtrain学习来的模型 Ｗ 为这部分数据生成标注，共同投入训练。

或引入大量且数据分布相似的数据集，如引入对抗生成网络产生与训练集分布相同的数据作为补充。

*当增强方法不当时，反而可能引起数据的偏移，造成期望风险的扩大。

   2.模型域的解决方案

基本原理是：选取较大的模型空间Ｐ，再通过先验知识缩小空间。

（1）多任务学习网络：将目标检测的定位和分类参数通过一定的方式共享， 降低了需要训练优化的参数量，可以同时提升分类和检测任务的效果。共享的部分可以是模型的浅层参数表征任务的低阶信息 ， 也可以是在深层之后的不同深层网络将不同任务嵌入到同一不变的模型参数空间。（级联的结构）

（2）增量学习网络：

增量学习具有以下特点：１）可以从样本以外的环境中获得新知识； ２）在更新知识过程中会保留大部分已学习到的知识；３）训练的过程不保留样本；４）学习系统没有关于整个训练样本的先验知识。

（（知识蒸馏，避免灾难性遗忘））

（3）迁移学习网络：

域适应：当给定的已标注训练样本不足以完成训练时，可以将其他类似域的先验知识转移到当前应用中，以缓解目标域样本不足导致的效果较差的问题， 域适应的方法通常用来提升目标域上的定位效果。

（如：目标检测结构FAFRCNN、LSTD深度架构）

但会因为领域转移造成一定程度的检测性能下降。迁移学习还存在着 目标域数据不足、 模型过渡适应、 自适应过程过于复杂的问题。两大问题： １）从什么领域迁移数据？ ２）迁移的知识如何进行适配？

（4）深度度量学习：

深度度量学习通过衡量映射在某一空间上的样本之间的距离来学习样本的相似度与区分度。小样本学习可以采用一个合适的嵌入空间来表征样本，再套入合适的距离度量损失来衡量新入样本与各个未知类别之间的距离大小，从而得到待测样本的应属类别。

（对分类效果有提升、“虚假繁荣问题多”，有待验证）

  3. 算法域的解决方案

基本原理是： 找到一种在模型空间Ｐ中快速搜索最优模型的策略， 这种策略可以利用先验知识来改变参数θ的搜索过程，使模型在有限次的迭代下快速收敛。

（1）微调现有模型参数

引入预训练模型后：1）分离现有训练集并建立验证集 2）选择性更新参数 3)对预先训练好的模型参数进行分组，用训练集进行分组反向传播微调 4）引入额外参数或层级结构做协调与原有参数共同优化

方式：预训练模型和Fine-Tuning

缺点：过拟合问题（可以引入正则化）；在测试集泛化能力不足。

（2）元学习

元学习拟合一系列相似任务的分布，利用元学习器将各个学习任务的参数合成，获得一个好的初始化参数；通过元学习与循环卷积神经网络相结合的方式训练得到一个参数优化方法，为训练过程提供一个良好的参数搜索步骤或更新规则，提供更好的搜索方向和步长，加速收敛过程。

（在多目标检测问题上表现不佳， 影响整体检测效果）

未来发展：零样本学习思想也可以提供解决思路。

小目标检测研究进展笔记

旨在精准检测出图像中可视化特征极少的小目标（32 像素×32 像素以下的目标）。

挑战：

可用特征少；定位精度要求高；现有数据集中小目标占比少；样本不均衡；小目标聚集问题；网络结构原因

研究思路：

1. 数据增强

创新策略：马赛克增强（YOLOv4）、保持增强

适用于小目标的 5 种数据增强方法：复制增强、自适应采样（考虑上下文信息进行复制，避免出现尺度不匹配和背景不匹配的问题）、尺度匹配（尺度匹配策略对图像进行尺度变换，用作额外的数据补充）、缩放与拼接（增加中/小尺寸目标的数量与质量）、自学习数据增强（通过强化学习选择最佳数据增强策略）

   2.多尺度学习

两个思路：

（1）通过不同的感受野大小来获取不同尺度的信息

（2）图像金字塔，通过输入不同尺度的图像，对不同尺度大小的目标进行检测（对计算机算力和内存都有极高的要求）

在深度神经网络中，浅层的感受野更小，语义信息弱，上下文信息缺乏，但是可以获得更多空间和细节特征信息，如：多尺度目标检测算法 SSD（利用较浅层的特征图来检测较小的目标，而利用较深层的特征图来检测较大的目标）、统一多尺度深度卷积神经网络（使用反卷积层来提高特征图的分辨率）

小目标易受环境干扰:ION目标检测（从不同尺度特征图中裁剪出同一感兴趣区域的特征，然后综合这些多尺特征来预测）、多尺度融合网络HyperNet（综合浅层的高分辨率特征和深层的语义特征以及中间层特征的信息显著提高召回率）。

获得更好的特征融合：特征金字塔 FPN（将相邻层的特征融合以达到特征增强的目的）、深度特征金字塔网络（横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络）

新方向:

（1）实时监测算法：使用上采样和跳跃连接在训练过程中提取不同网络深度的多尺度特征;

（2）高分辨率检测网络:用浅层网络处理高分辨率图像和深层网络处理低分辨率图像;

（3）扩展特征金字塔网络：用额外的高分辨率金字塔级专门用于小目标检测。

缺点：难以避免干扰噪声的影响

  3.上下文学习

（1）基于隐式上下文特征学习的目标检测。隐式上下文特征是指目标区域周围的背景特征或者全局的场景特征。

发展为将全局的上下文信息融入到目标检测模型中，但如何从全局场景中找到有利于提升小目标检测性能的上下文信息仍然是当前的研究难点。

另外一些方法通过语义分割来利用全局上下文信息，但是像素级的标注是非常昂贵的。

（2）基于显式上下文推理的目标检测。显示上下文推理是指利用场景中明确的上下文信息来辅助推断目标的位置或类别

研究方向：

（1）构建基于类别语义池的上下文记忆模型，通过利用历史记忆的上下文来缓解当前图像中上下文信息匮乏的问题；

（2）基于图推理的小目标检测，通过图模型和目标检测模型的结合来针对性地提升小目标的检测性能。

  4. 生成对抗学习

通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征，从而达到与尺寸较大目标同等的检测性能。

针对小目标的多任务生成对抗网络MTGAN:生成器是一个超分辨率网络，可以将小模糊图像上采样到精细图像中，并恢复详细信息以便准确检测。判别器是多任务网络，区分真实图像与超分辨率图像并输出类别得分和边界框回归偏移量。为了使生成器恢复更多细节以便于检测，判别器中的分类和回归损失在训练期间反向传播到生成器中。

存在问题：（1）生成对抗网络难以训练，不易在生成器和鉴别器之间取得好的平衡；（2）生成器在训练过程中产生样本的多样性有限，训练到一定程度后对于性能的提升有限。

  5.无锚机制

思路：将目标检测任务转换为关键点的估计，即基于关键点的目标检测方法。

基于角点的检测器:通过对从卷积特征图中学习到的角点分组来预测目标边界框。CornerNet 系列:将目标检测问题转换为角点检测问题，首先预测所有目标的左上和右下的角点，然后将这些角点进行两两匹配，最后利用配对的角点生成目标的边界框。但该系列仍然会因为错误的角点匹配预测出大量不正确的目标边界框。

基于中心预测的目标检测框架：CenterNet 首先预测左上角和右下角的角点以及中心关键点，然后通过角点匹配确定边界框，最后利用预测的中心点消除角点不匹配引起的不正确的边界框。

发展:代表点检测方法（自动学习目标的空间信息和局部语义特征）；Foveabox（首先预测目标存在的可能性，并生成类别敏感语义图，然后为每一个可能包含目标的位置生成未知类别的边界框。）；FCOS（语义分割思想减少超参）；将无锚机制用于改进特征金字塔中的特

征分配问题，根据目标语义信息而不是锚框来为目标选择相应特征；基于特殊注意力机制的特征金字塔网络（根据不同大小目标的特征

生成特征金字塔，进而更好地处理多尺度目标检测问题）

  6.其他优化策略

（1）过采样策略：增加小目标对于损失函数的贡献

（2）密集锚框策略：在一个感受野中心设计多个锚框来提升小目标的召回率

（3）基于语义特征的引导锚定策略：通过同时预测目标中心可能存在的位置及目标的的尺度和纵横比，提高了小目标检测的性能

（4）级联:用简单的计算过滤掉大多数简单的背景窗口，再用复杂的窗口来处理那些更困难的窗口

（5）分阶段检测:通过不同层级之间的配合平衡漏检与误检之间的矛盾

（6）优化损失函数

数据集介绍

BIRDSAI 数据集:主要由人类和动物的红外图像视频组成，总共包含 10 个类别。还包含使用非洲热带草原的 3D 模型和 TIR 相机模型合成的虚拟视频。

TinyPerson 数据集:该数据集由 1 610 幅图像构成，每幅图像包含超过 200 个人员，其中目标分为 5 个类别，共有 72 651 个手工标注的极小目标。

EuroCity Persons 数据集:该数据集主要为城市交通场景，包含大量种类繁多、准确且详细的目标，如行人、骑自行车者和其他乘客等。数据集包含 47 300 多张图像，含有手工标记的超过 238 200 个人员实例。还包含超过 211 200 条标明人员朝向的注释。

WiderPerson 数据集：该数据集由 13 382 张图像组成，涉及 5 种类型的注释，共包含约 400K 条带有多种遮挡信息的标注，平均每幅图像标注 29.87 个目标，这意味着该数据集包含了各种遮挡下的密集行人。在该数据集中，训练集、验证集和测试集由随机选择的 8 000/1 000/4 382 张图像分别构成。

DOTA 数据集：该数据集包含从不同传感器和平台上收集的 2 806 幅航拍图像。每幅图像的大小约为 4 000 像素×4 000 像素。使用 15 种常见的目标类别进行注释。完整注释的 DOTA 图像包含 188 282 个实例，每个实例都由一个任意四边形标记。

Nighttowls 数据集：用于夜间行人检测的公共数据集。包含 40 个序列，共279 000 帧的夜间影像。所有的图像都有详尽的注释。

DeepScores 数据集：包含高质量的乐谱图像，由 30 万张包含不同形状和大小音乐符号的图像组成，共接近一亿个小目标，是最大的

公共数据集。

Bosch 小交通灯数据集：该数据集由 13 427 幅分辨率为 1 280 像素×720 像素的摄像机图像组成，其中包含约 24 000 个带标注的交通信号灯。标注信息包括交通灯的边框以及每个交通灯的当前状态。该数据集图像包含摄像机拍摄的原始 12 位 HDR 图像和重构的 8 位 RGB 彩色图像。

CityPersons 数据集:包含来自 50 个不同城市街道场景中记录的多种立体视频序列，除了 20 000 个弱注释帧以外，还包含 5 000 帧高质量像素级注释。

Tsinghua‑Tencent 100K 数据集：该数据集由 100 000 幅分辨率为 2 048 像素×2 048 像素的图像组成，涵盖了不同光线和天气状况。在该数据集中，包含 3 万个交通标志实例，45 个类别，其中每个交通标志都带有一个类别标签、边界框以及像素蒙版。

WIDER FACE 数据集：人脸数据集，包含32 203 图像，393 703 标注人脸。

MS COCO 数据集：其中包括 91 类目标，328 000 幅图像和 2 500 000 个标签。图像中的目标通过精确的分割标注进行位置的标定。现在有 3 种标注类型：目标实例、目标上的关键点和看图说话。

Caltech 行人检测数据集：Caltech 数据集中注释了 350 000 个边界框和 2 300 个独立行人。此外，该数据集包含彩色视频序列。

Penn‑Fudan 行人检测与分割数据库：由用于行人检测的图像组成。该图像数据库中包含 170 张取自校园周围和城市街道场景的图片。这些图片中共有 345 个带有标记的行人，而且每张图片中至少有一个行人。

未来发展

1. 特征融合方面：消除特征融合中的语义间隔和噪声干扰问题。
2. 上下文学习方面：如何从图像中挖掘有利于提升小目标区域特征表示的上下文信息；如何在检测模型中利用易于检测目标来辅助小目标的检测。
3. 超分辨率重构方面：如何将超分辨率重构中先进技术与目标检测技术深度结合。

三、基础知识学习

“西瓜书”。

四、下周工作计划

1.精读小样本目标检测相关论文一篇

2.跟进焊接电路板项目

3.基础知识学习