多任务学习

1. 深度网络中，多任务的语义信息可以从不同的层次输出，例如GoogLeNet中的两个辅助损失层。例如衣服图像检索系统，颜色这类的信息可以从较浅层就进行输出判断。而衣服的样式风格这类的信息，更接近高层语义，需要从更高的层次输出，这里的输出指的是每个任务对应的损失层的前一层。
2. 多任务学习的实际案例：人脸识别、细粒度车辆分类、面部关键点定位于属性分类等领域。
3. 在物体检测网络faster R-CNN中也有多任务学习的应用：faster R-CNN有两个任务：窗口回归和窗口分类。其中RPN模块的卷积层在两个任务中共享。实现检测多类物体。
4. 注意：一般建议所有任务的权重值相加为1.如果这个数值不设置，可能会导致网络收敛不稳定，这是因为多任务学习中对不同任务的梯度进行累加，导致梯度过大，甚至可能引发参数溢出错误导致网络训练失败。
5. 现实世界，很多问题不能分解为一个一个独立的子问题，即使可以分解，各个子问题之间也是相互关联的，通过一些共享因素或者共享表示联系在一起。
6. 把现实问题拆成一个个独立的单任务处理，忽略了问题之间的丰富的关联信息。
7. 多个任务之间共享一些因素，它们可以在学习过程中，共享学到的信息，所以相关联的多任务学习能更好的去泛化。例如与人类学习类似，打壁球和打网球的技能可以互相帮助提升。
8. 多任务学习涉及多个相关的任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示来互相帮助学习，提升泛化效果。
9. 多任务学习最简单的共享方式：
   （1）基于参数的共享：比如基于神经网络的MTL，高斯处理
   （2）基于约束的共享：比如均值、联合特征学习
10. 多个相关任务放在一起学习，既有相关的部分，也有不相关的部分，在学习过程中相当于是噪声，因此引入噪声可以提高学习的泛化能力。
11. 单任务学习时，梯度的反向传播趋向于陷入局部极小值，多任务学习中，不同任务的局部最小值处于不同的位置，通过相互作用，可以帮助隐含层逃离局部极小值。
12. 多任务在浅层共享表示，可能削弱网络能力，降低网络过拟合，提升泛化效果。
13. 多任务学习是迁移学习中的一种。

14. 包括医学图像分析在内的一些应用无法满足需要很多标记数据的要求，所以多任务学习MTL可以通过使用来自其他相关学习任务的有用信息来帮助缓解这种数据稀疏问题。

基于图卷积网络的多标签图像识别模型

1. 多标签图像识别任务的目标是预测一张图像中出现的多个物体标签，其在搜索引擎、推荐系统、医学诊断识别、人类属性识别、零售识别等中应用广泛。
2. 因为多个相关物体通常出现在一幅图像中，因此提升识别性能的理想方法是：针对如何有效建模标记间的协同关系进行探索。对标签之间的依赖性进行有效建模。
3. 为了利用和获取这种依赖性，提出一种基于图卷积网络的多标签分类模型。这个模型通过数据驱动的方式建立标记间有向图，并且由图卷积网络将类别标记映射为对应类别分类器，以此建模类别关系，提升表示学习能力。
4. 解决多标签识别问题的一个朴素方法是分离地看待各个目标，将多标签问题转化维多组二值分类问题，预测每个目标是否存在。但是这种方法缺陷是：忽视了物体之间的拓扑结构。
5. 基于概率图模型或者是循环神经网络，可以显式地对标签依赖性进行建模。
6. 通过注意力机制对标签相关性进行隐式建模。这个方法考虑的是图像中被注意区域之间的关系（可以视为局部相关性）。但是缺点是：忽略了图像中标签之间的全局相关性，全局相关性需要通过单张图像之外的知识才能推断出来。
7. 将目标分类器视为一组待学习的独立参数向量
8. 从标签的先验特征，例如词嵌入向量，来学习相互依赖的目标分类器方法。通过一个基于图卷积网络的映射函数实现，然后，生成的分类器再被应用于由另一个子网络生成的图像特征，以实现端到端的训练。
9. 从词嵌入向量到分类器的映射参数是在所有类别之间共享，如图像标签。因此来自所有分类器的梯度都会影响这个基于GCN的分类器生成函数。这就可以对标签的相关性进行隐式建模。
10. 用标签相关系数矩阵来引导信息在GCN各个节点之间的传递。

多标签图像识别的两个问题：

1. 如何有效获取目标标签之间的相关性
2. 如何利用这些标签相关性提升分类表现

用图对标签之间的相互依赖关系进行建模。这种方法可以灵活获取标签空间中的拓扑结构。

1. 将图中的每个节点（标签）都表示为该标签的词嵌入向量，并且提出使用图卷积网络直接将词嵌入向量映射到一组互相依赖的分类器上。
2. 从词嵌入向量到分类器的映射参数在所有类别中是共享的，所以习得的分类器能够在词嵌入空间中保留较弱的语义结构。语义相关的概念在词嵌入空间中彼此临近。
3. 对于可以对标签依赖性进行隐式建模的分类器函数，所有分类器的梯度都会对它产生影响。
4. 基于标签的共现模式，设计一个标签相关系数矩阵，可以显式地用图卷积网络建模标签相关性，让节点的特征在更新时也能从相关联的节点（标签）吸取信息。

图卷积网络可以用于进行半监督分类，核心思想是通过节点之间的信息传播来更新节点间的表示。

1. 图卷积网络的初衷是半监督分类，其节点层面的输出结果是每个节点的预测分数，
2. 在多标签图卷积网络中，每个图卷积网络节点的最终输出都被设计成与标签相关的分类器。
3. 不同于其他任务，这里的多标签图像分类任务没有提供预定义的图结构，即相关系数矩阵。

包含两个模块：图像特征学习模块和基于图卷积网络的分类器学习模块

1. 图像特征学习：原则上可以使用任意基于卷积神经网络的模型学习图像特征，例如使用Resnet-101作为实验基础模型，然后应用全局最大池化来获取图像层面的特征x。
2. 图卷积网络分类器学习：通过一个基于图卷积网络的映射函数从标签特征学习相互依赖的目标分类器。

以数据驱动的方式构建一个相关系数矩阵，相关性可以通过挖掘标签在数据集中的共现模式来定义

1. 如上图，是两个标签之间的条件概率示意图。从上面式子中的两个概率值可以发现：相关系数矩阵不是对称的。
2. 上面所说的这种简单的相关性可能存在两个缺陷：
   缺陷一：一个标签和其他标签的共现模式可能表现为长尾分布，其中某些罕见的共现可能是噪声
3. 训练和测试中共现的绝对数可能并不完全一致。
4. 通过标签共现矩阵得到条件概率矩阵：
   
5. 对相关系数矩阵进行二值化处理，将阈值用于过滤噪声边。式子中A是二值相关系数矩阵
   
6. 经过图卷积网络后，一个节点的特征是其自身特征和相邻节点特征的加权和，而二值化相关系数矩阵的一个直接问题是其可能导致过度平滑。为了缓解过度平滑问题，所以提出二次加权方法：
   
7. 通过上面提出的二次加权之后，在更新节点特征时，节点本身的权重是固定的。当p趋近于1时，不考虑节点本身的特征。当p趋近于0时，往往忽略相邻信息。