多任务学习中的auxiliary loss(辅助损失）

在读论文时发现对于一些多任务学习，作者往往会在损失项中加上auxiliary loss（辅助损失），对此，阅读了相关资料后做出总结如下：

首先，作为知识先验，我们要知道所谓多任务学习（Multi-Task Learning）就是通过在相关任务间共享表示信息，使得模型在原始任务上泛化性能更好。也就是说，一旦发现我们的目标是优化多于一个的目标函数，就可以通过多任务学习来有效求解；但即使对于优化目标只有一个的特殊的情况，辅助任务仍然有可能帮助我们改善主任务的学习性能。

多任务学习具有两种学习模式：隐层参数的硬共享（hard parameter sharing）及软共享

硬共享可以应用到所有任务的所有隐层上，而保留任务相关的输出层，降低了过拟合的风险。

软共享则放任每个任务都有自己的模型，自己的参数，只对模型参数的距离进行正则化来保障参数的相似。