多任务学习

如何判断模型是否是多任务学习？只需要看loss函数，如果loss包含很多项，每一项都是不同目标，这个任务就是多任务学习了。多任务学习模型在相关任务间共享表示信息，在训练时由于归约偏置的存在，模型会更倾向于可以同时解释多个任务的参数取值，从而使得模型能在原始任务上泛化性能更好。

多任务学习的一种形式是hard parameter sharing，前几层为多个任务共享，后面分离出不同任务的layers。