【持续学习】表格检测

1实验设置

本研究的目的是利用新数据持续训练网络，同时保留现有知识。将表检测的连续学习定义如下。假设D1，2，...，t−1是多个数据集的阵列，Mt−1是在这些数据集上训练的模型。在时间t引入新数据集时，可能会出现不同的情况。图2显示了使用新数据集的四种可能方式。

1.1独立训练

这是在每个数据集上训练模型的常规训练方法。算法1显示了这里使用的直接批量训练过程。该实验的结果将显示当前数据和架构的可能学习的上限。图2a展示了该培训过程。

1.2联合训练

在联合训练中，利用了所有可用的数据集。该设置充当使用所有可用数据的模型学习能力的上限。如图2b所示，在批量训练之前，所有可用样本都被打乱。

1.3微调

该实验采用了经典的微调程序。如图2c所示，在Dt的训练期间，使用先前数据集上的预训练模型Mt−1来初始化模型的参数。然后，在新实例上以较低的学习率重新训练模型。由于这种设置会导致灾难性遗忘，因此学习者的学习成绩是较低的。

1.4 经验回溯进行训练

最后一个实验是我们为任务设计的持续学习技术，称为经验回放（图2d）。在这种方法中，R1，2，... ，t−1是专用于先前数据集图像的小内存。然后将这些图像呈现给模型，同时用新数据训练模型。准确地说，每批都包含Dt和R1,2，...，t−1    的样品

算法2描述了具有经验回放的批量训练。假设训练程序应该针对Dt进行，并且我们有可用的先验数据和训练模型。该算法首先初始化重放存储器R1，2，。。。，t−1。它是从D1、D2、……、，Dt−1。在每次训练迭代中，从Dt中选择一个小批次，从R1，2，。。。，t−1。然后将这些批次连接在一个批次中，并采取一个梯度下降步骤。

R1，2，…中的图像数，。。。，t−1将等于Dt中训练样本数量的1%。通过这种方式，我们可以确保记忆既不太小也不太大，以便在学习新知识的同时保存过去的知识。其图像根据其大小从Dis中随机选择。如果sDi指定数据集Di中训练样本的数量，。。。，t−1由（1）获得，并由CDi表示：

图2
训练设置。
（a） 在独立训练方法中，模型在新的数据集上训练。
（b） 在联合训练中，在所有可用数据集上训练模型。
（c） 在微调方法中，模型在新的数据集上进行训练，初始参数从先前数据集上的训练中获得。
（d） 在经验回溯方法中，首先，使用从先前数据集上的先前学习阶段获得的参数来初始化模型；然后，在新的数据集和重放存储器（从以前的数据集中随机选择）上训练模型。

算法一

算法二

 1.5网络模型

为了验证所提出的方法，选择了两种最先进的架构：Faster R-CNN和Pyramid Vision Transformer（PVT）以及Sparse R-CNN。Faster R-CNN被认为是许多先前作品中的经典基线；因此，这是我们的首选。接下来，选择了Sparse R-CNN+PVT架构，这是最近的SOTA检测器之一。

1.5.1Faster R-CNN+ResNet

1.5.2. Sparse R-CNN+PVT

1.6实施详细信息

在每次评估中，使用公开可用的MMDetection工具箱对Faster RCNN和Sparse R-CNN进行训练。所有实验的训练程序和环境都相同。网络在八个GPU上进行训练，每个GPU有四个图像。在ER设置中，每个GPU的批处理大小也是四个，其中一个来自回溯内存

ResNet-50被用作Faster RCNN的骨干网络，而对于SparseR-CNN，则选择PVTv2-B2。模型的骨干在ImageNet上进行了预训练。如果没有另外提及，则使用参考实现中的所有默认配置。

在IT场景中，模型被训练了三个阶段。初始学习率为10−4，每个时期的学习率都以10的因子衰减。在FT和ER中，添加的数据集被微调为一个时期，学习率为10-5。

为了防止ER场景中的过度拟合，在重放存储器的图像上应用了数据增强。图像损坏库中使用了四种类型的增强，即运动模糊、jpeg压缩、高斯噪声和亮度。增强方法的选择是为了模拟常见的现实场景。