增量学习三个场景的理解

1、任务增量学习

（1）不同时刻到达的数据属于不同任务，不同任务里面的类别也各不相同（同一任务数据全部到达）。

        例如：

任务	类别
任务1	{类1:“0”，类2:“1”}
任务2	{类3:“2”，类4:“3”}
任务3	{类5:“4”，类6:“5”}

在识别数字“0”时，已经知道为任务1的数据，需要得出是属于在任务1的哪个类别。

（2）输出单元——多头。

        一个任务一个输出单元。

2、域增量学习

（1）不同时刻到达的数据属于同一任务的相同类别。

        例如：

任务	类别
任务1	{类1:“0”，类2:“1”}
任务1	{类1:“2”，类2:“3”}
任务1	{类1:“4”，类2:“5”}

在识别数字“0”时，只需要得出为类别1的结论即可，虽然“2”、“4”都在其中。

（2）输出单元——多头。

        一个类别一个输出单元。

3、类增量学习

（1）不同时刻到达的数据属于同一任务的不同类别

        例如：

任务	类别
任务1	{类1:“0”，类2:“1”}
任务1	{类3:“2”，类4:“3”}
任务1	{类5:“4”，类6:“5”}

在识别数字“0”时，需要在所有类中找出其属于类几。

（2）输出单元——单头。

        一个类别一个输出单元。

Task-IL Solve tasks so far, task-ID provided

Domain-IL Solve tasks so far, task-ID not provided

Class-IL Solve tasks so far and infer task-ID

参考：

【1】增量学习-学习总结（上） - 知乎

【2】Generative replay with feedback connections as a general strategy for continual learning https://arxiv.org/abs/1809.10635v2https://arxiv.org/abs/1809.10635v2