小样本目标检测综述 --刘浩宇，王向军 --阅读笔记

1 基本背景

首先什么是小样本学习？

小样本学习是指在样本数据不足或质量较低的情况下进行的深度学习训练和预测的方法。

早期深度学习目标检测方法存在哪些问题？

• 依赖样本的数据的分布与数量，需要足够多的已标注样本的来支持检测效果。但是这样会引入较高的制作成本。
• 早期应用大量标注样本回归候选框的位置，目标集与训练集数据分布不同会导致检测效果下降。
• 在军工业场景下，大量的数据样本不易得。

2 大样本与小样本的对比

• 在有大量样本数据的情况下，模型训练误差是很小的。如果样本数量足够大，模型训练误差甚至可以趋于0
  
• 但当样本数量很小时，模型无法很好地拟合真实分布，往往会造成很大的模型训练误差。

3 在没有大量数据支持的情况下，小样本检测保证检测效果，有哪些解决方法？

• 数据域 ： 通过先验知识来做数据增强，通过数据量的增大解决模型不收敛的问题。
• 模型域 ： 通过先验知识来限制模型复杂度，降低假设空间的大小，使得模型收敛加快。
• 算法域 ： 通过先验知识来提供一个更快捷的搜索策略。

3.1 数据域：

• 本质上就是通过各种数据增强的方法，增加样本容量，增加参数优化与迭代的次数；相当于提供了先验知识，帮助训练模型更接近训练能够达到的最佳模型。
• 由于被检测目标的真实分布是不可知的p(x,y)，绝对准确的先验知识是不可获得的。

3.1.1 转化原有数据集$D_t$${}_r$