多视图多标签学习介绍

多视图介绍
作者写的太好了，特转载过来，如果不合适，麻烦联系我立刻删除。
作者：AI的艺术
链接：https://www.zhihu.com/question/424607022/answer/2376772912
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

当下的许多应用都会面临处理多视角多标签数据。这种数据中的每一个样本都会有多个视角的特征，同时也会和许多标签进行关联。但随着近些年大数据的发展，许多已经在部分场景中取得成功的方法仍然会存在部分不足，比如因为输入数据的缺失造成的效果下降。这就引出了不完整的多视图弱标签学习（Incomplete Multi-View Weak-Label Learning）——一种为了解决这类问题的方法。为了更好的讲述什么是“不完整的多视图弱标签学习”，我们首先需要弄清楚几个概念，即：什么是“不完整的多视图学习”、什么是“弱标签学习”。不完整的多视图学习在许多实际应用中，样本经常能够通过多个特征子集来进行表述。比如一只猫可以通过照片来表述，也可以通过一段文字进行表述。同样的，如图1所示，一张照片也可以通过多个不同的视觉特征来进行描述，比如图像的HOG特征、色彩特征、以及SIFT特征等等。每一种特征（Feature）都被称为一个视角（View）。各个视角会有它们自己所独有的信息，这被称为互补信息（Complementary Information）；也会有一些共通的信息，这被称为一致信息（Consistent Information）。“多视图学习”（Mutli-View Learning）方法的提出就是为了处理这种数据。图1 多视图图片实例虽然有不少的多视图学习方法在实际应用中已经取得了不错的效果，但它们并没有考虑到一个问题：样本可能会因为各种原因在某些视角上丢失数据，比如传感器的抖动等。这样视角中有部分缺失的数据被称为“不完整的多视图”（Incomplete Multi-View）。这个问题的存在造成了预测效果的下降[1]。因而有不少“不完整的多视图学习”（Incomplete Multi-View Learning）方法 [1-4]被提出来，以期利用多个不完整视图间的互补信息来改善模型的预测表现。弱标签学习如开头所说，数据可能会同时关联多种标签，比如图2是一张带有标签{房子、天空、树、水}的风景照，这样的数据被称为“多标签”（Multi-Label）数据。图2 多标签图片实例为了能够更好的处理这种数据，许多“多标签学习”（Multi-Label Learning）方法被提了出来，这类方法也可以看作是有监督学习的一个子方向。传统的多标签学习方法通常假设数据的所有标签都是获取到的。然而在实际应用中，数据的标签往往是通过标注员进行人工标注。受限制于标注员本身能力的参差不齐，许多数据往往只会被标注出实际所有标签的一部分。这就造成了实际数据往往很难拥有它所应有的全部标签，这种数据就被称为“弱标签”（Weak-Label）数据。近年来有许多基于“相似的实例具有相似的标签“假设的“弱标签学习”（Weak-Label Learning）方法[5-8]被提出来解决这种数据造成的预测效果下降。不完整的多视图弱标签学习显而易见，“不完整的多视图弱标签学习”（Incomplete Multi-View Weak-Label Learning）是“不完整的多视图学习”与“弱标签学习”的交叉子方向。它可以看作是“多视图多标签学习”（Multi-View Multi-Label Learning）遇上了同时属于不完整的多视图和弱标签的数据的一种特殊场景。就目前来说，这个方向下的研究仍然很少。目前据我所知，已经发表出来的只有3篇：iMVWL [9]尝试从利用视图之间的关系和局部标签的关联性从不完整的视图和弱标签中学习出一个共享子空间来对原始空间进行逼近。IMVL-IV [10] 设计了一种通过学习标签相关特征、标签之间的关联性以及多个视图之间的互补信息来学习的方法。NAIM3L [11] 尝试显示地利用多标签数据的高秩结构来同时将缺失的视图和丢失的标签纳入考虑。总结图3 本文所说几种方法关系展示图3展示了本文所说的几种学习之间的关系。可以看到不完整的多视图弱标签学习只是一个很小的领域，其目前仍处于一个初级阶段，相关工作仍然很少。参考文献[1] Chang Xu, Dacheng Tao, and Chao Xu. Multi-view learning with incomplete views. TIP, 24(12):5812–5825, 2015.[2] Wei Zhang, Ke Zhang, Pan Gu, and Xiangyang Xue. Multi-view embedding learning for incompletely labeled data. In IJCAI, 2013.[3] Meng Liu, Yong Luo, Dacheng Tao, Chao Xu, and Yonggang Wen. Low-rank multi-view learning in matrix completion for multi-label image classification. In AAAI, 2015.[4] Qiyue Yin, Shu Wu, and Liang Wang. Unified subspace learning for incomplete and unlabeled multi-view data. Pattern Recognition, 67:313–327, 2017.[5] Hsiang-Fu Yu, Prateek Jain, Purushottam Kar, and Inderjit Dhillon. Large-scale multi-label learning with missing labels. In ICML, pages 593–601. PMLR, 2014.[6] Hao-Chen Dong, Yu-Feng Li, and Zhi-Hua Zhou. Learning from semi-supervised weak-label data. In AAAI, volume 32, 2018.[7] Baoyuan Wu, Fan Jia, Wei Liu, Bernard Ghanem, and Siwei Lyu. Multi-label learning with missing labels using mixed dependency graphs. IJCV, 126(8):875–896, 2018.[8] Qiaoyu Tan, Guoxian Yu, Carlotta Domeniconi, Jun Wang, and Zili Zhang. Multi-view weak-label learning based on matrix completion. In SDM, pages 450–458. SIAM, 2018.[9] Qiaoyu Tan, Guoxian Yu, Carlotta Domeniconi, Jun Wang, and Zili Zhang. Incomplete multi-view weak-label learning. In IJCAI, pages 2703–2709, 2018.[10] Changming Zhu, Duoqian Miao, Rigui Zhou, and Lai Wei. Improved multi-view multi-label learning with incomplete views and labels. In ICDMW, pages 689–696. IEEE, 2019.[11] Xiang Li and Songcan Chen. A concise yet effective model for non-aligned incomplete multi-view and missing multi-label learning. TPAMI, 2021.编辑于 2022-03-06 16:38