多任务学习

多任务学习概述：从普通神经网络到深度学习（说的很清楚）

https://www.cnblogs.com/shuzirank/p/7141017.html

 

多任务学习的最近研究：以NLP为例：

http://ruder.io/multi-task-learning-nlp/

 

关于triplet loss函数的一个blog：

https://blog.csdn.net/xiaofei0801/article/details/73801650

 

涉及到的问题：

1.       多任务之间需要设置权重，而权重的设置目前为止还是偏主观的判断。

2.       任务之间是否存在关联，会影响正则化设计的方式

3.       设置任务权重的方式只是一种方式，还有其他方式

4.       多任务之间的loss的取值区间，是否需要norm处理

5.       多任务之间是否需要学习某种条件不变性的特征，比如对光线/背景等。现多使用triplet方式。

6.       辅助性任务对最终结果有帮助：

l  相关；

l  相反；

l  线索性关系；

l  注意力模式，能够强迫网络学习某些特征；

l  量化特征，目标是离散的，转化成为连续的可能会更好；

l  表示学习，目标是让网络能学习一些可共享的任务，显式的让网络学习可迁移的特征提取网络。