入门：“A Survey on Multi-view Learning” 辅助学习（下）+总结

写在前面：

不知道是由于作者电脑原因还是csdn的原因，在试图一次性上传这篇论文时卡爆了，事实上即便分三次也很卡，简单的说，本篇论文的辅助阅读分三次上传：

上篇是这篇论文的前四章之前

中篇是5-7章，也是个人认为比较重要的部分

下篇是后三章+总结

希望查看的各位大佬按需选择，如果有出错之处也欢迎大家指正与讨论，写这个辅助学习一个是记录一下自己的学习过程，另一个是希望能帮到读论文的你，本文仅供参考，还是看论文原文最为清晰。

---

“8. Applications”  8. 应用

一般来说，通过利用多个视图的一致性和互补性，从多视图数据中学习模型将导致学习性能的提高。因此，多视图学习已成功应用于许多实际应用中。

自从 Blum 和 Mitchell（1998）首次提出协同训练算法并将其应用于网络文档分类问题以来，这种新颖的方法引起了许多研究人员的关注，并在自然语言处理领域得到了广泛的应用（Craven 等, 2000; M̈ uller 等人, 2002; Phillips 和 Riloff, 2002)。

Pierce 和 Cardie (2001) 研究了协同训练的学习行为，结果表明，给定一小组标记训练数据和大量未标记数据，协同训练可以将协同训练的分类器与在所有可用数据的标记版本上训练的完全监督分类器之间的误差差异减少 36%。

与之前以监督方式处理词义消歧任务的努力不同，Mihalcea（2004）建议将协同训练与多数投票相结合，以达到平滑学习曲线以提高平均性能的效果。

梅雷佐等人(2004) 研究了联合训练在训练分类器方面的适用性，这些分类器可以根据采用前向选择的包装方法预处理的特征来预测口语对话中的情绪。

基里琴科和马特温 (2001)；科克尔科恩等人 (2003)和Scheffer (2004)在半监督学习的框架下处理电子邮件分类问题，从而可以消除标记未标记数据的成本，并采用协同训练方法来显着提高学习性能。

除了涉及文本或自然语言处理的这些应用之外，协同训练还在计算机视觉领域得到了应用。例如，Liu和Yuen（2011）研究了人类动作识别问题，并引入了两种新的置信度度量，即视图间置信度和视图内置信度，以解决协同训练中的视图充分性和视图依赖性问题。

克里斯图迪亚斯等人 (2009a) 设计了一种概率异方差方法进行协同训练，该方法在解决多视图对象识别任务时发现噪声量。

Feng 和 Chua (2003) 以及 Feng 等人（2004）通过将协同训练与主动学习相结合解决了图像注释问题。因此，在协同训练中放宽了对有效学习的大型标记训练语料库的要求，并且在每个阶段选择最好的示例进行标记，以最大化主动学习的学习目标。

Zhou等人(2004) 将各种视觉特征（例如颜色和纹理特征）视为图像的充分且不相关的视图以及 Cheng 和 Wang (2007) 引入了一种协同训练算法来在基于内容的图像检索中进行相关性反馈。

至于多核学习，Kumar 和 Sminchisescu (2007)；林等人(2007) 以及 Varma 和 Ray (2007) 通过线性组合图像之间的相似性函数将其应用于对象分类，使得组合的相似性函数产生改进的分类性能。

Longworth 和 Gales (2008) 采用多核学习进行目标检测，目标是找到指数 χ2 核的最佳组合，每个核将捕获不同的特征通道，例如边缘的分布和视觉单词。

肯巴维等人 (2009) 提出了一种用于对象识别的增量多核学习方法。在这种情况下，“增量”意味着姿势物体的图像在场景中更常见及核权重将在每次迭代中更新，从而进一步提高学习性能。

子空间学习是分析数据不同视图之间关系的重要工具，具有多种应用。唐纳等人(2006)提出了一种基于CCA的快速主动外观模型搜索算法。

郑等人(2006)使用KCCA解决面部表情识别问题。

迪伦等人(2011) 计算数据不同视图之间的 CCA，以从 NLP 任务中未标记的数据估计低维上下文特定单词表示。

傅等人 (2008)通过构造线性子空间有效地解决了人脸识别任务，其中最大化任意一对特征集之间的累积典型相关性。

张等人 (2012)通过多视图学习的方法研究了高光谱遥感图像分类问题，并引入了补丁对齐框架，以最优的方式线性组合多个特征，并为后续分类提供这些多个特征的统一低维表示。

卡通人物-->颜色柱状图 -->未标记图像的局部patch -->整个对齐 -->交替优化的多视图特征集成

-->Hausdorff边缘特征-->未标记图像的局部patch -->整个对齐 -->交替优化的多视图特征集成

-->骨架特征-->未标记图像的局部patch -->整个对齐 -->交替优化的多视图特征集成

-->收敛 -->对齐矩阵L -->子空间Y -->检索

-->合成

图 5：半监督多视图子空间学习算法的流程图（Yu 等人，2012a）。该方法首先提取卡通人物的多视图特征。然后，通过考虑每个局部补丁的约束和多视图特征的互补特性，可以通过求解交替优化问题获得低维表示Y。最后，可以通过测量子空间Y中的相异性来进行卡通人物检索和剪辑合成。

考虑到卡通人物检索的关键问题是有效描述卡通人物的正确表示，Yu等人(2012a)引入了一种半监督多视图子空间学习算法，该算法将不同的特征编码在统一的空间中，如图5所示。在这个统一的子空间中，欧几里德距离可以直接用于测量两个卡通人物之间的距离。

离线部分：多视图数据--> 多图--> 线性多视图嵌入

-->线上部分：查询难度估计：查询|最大结果 --> 难度引导应用：重新排序 … 查询优化|分布式检索

图 6：线性多视图嵌入在难度引导图像检索中的应用（Li et al., 2011）。

为了提高图像检索中的排名和难度估计的性能，Li 等人（2011）将多视图嵌入（ME）应用于由多个特征表示的图像，通过保留每个特征空间中的邻域信息来整合联合子空间，如图6所示。为了解决消除“样本外部”和巨大的计算成本问题，一种线性多视图嵌入算法被开发，该算法从一小组数据中学习线性变换，并且可以有效地推断新数据的子空间特征。

“9. Performance Evaluation” 9. 表现评估

在本节中，我们介绍了多视图学习实验中广泛使用的一些数据集，并对几种有代表性的多视图学习算法与单视图学习算法进行了实证比较。

“Data Sets for Multi-view Learning. ”多视图学习的数据集。

到目前为止，多个数据集已广泛应用于多视图学习实验。这里我们对这些数据集进行简单的介绍。

• WebKB 数据集1 是多视图学习中使用的最著名的数据集，协同训练算法首先在该数据集上进行评估。该数据集由从四所大学计算机科学系网站收集的 8282 个学术网页组成：康奈尔大学、华盛顿大学、威斯康星大学和德克萨斯大学。这些页面可以分为六类：学生、职员、教师、部门、课程和项目。有两个视图，分别包含页面上的文本和超链接的锚文本。

• Citeseer 数据集2 是科学出版物的集合，其中包含属于六个类别的3312 篇文档。每个文档有三个自然视图：文本视图由论文标题和摘要组成；两个链接视图是入站和出站引用。

• 来自UCI 存储库的一些流行数据集3 适合评估多视图学习。例如，互联网广告数据集包含来自各种网页的图像，这些网页的特征是广告或非广告。这些实例以六个视图来描述，分别是图像的几何形状、基本 url、图像 url、目标 url、锚文本和替代文本。

• 还有许多其他多媒体数据集通常用于图像标注、图像分类和图像检索实验，包括 TRECVID2003 视频数据集 4 、Caltech256 5 等。我们提取不同的视觉特征来表示数据的多个视图，例如如颜色直方图、边缘方向直方图和小波纹理。

1. http://www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20 /www/data/

2. http://komarix.org/ac/ds/

3. http://archive.ics.uci.edu/ml/

4. http://www-nlpir.nist.gov/projects/tv2003/

5. http://www.vision.caltech.edu/Image Datasets/Caltech256/

“Empirical Evaluation. ”实证评估。

为了说明多视图学习方法相对于传统单视图学习的优势，表 1 列出了从几篇已发表的多视图学习论文中得出的列表。布鲁姆和米切尔 (1998)；尼加姆和加尼 (2000)；布雷菲尔德和谢弗 (2004)；辛德瓦尼等人（2005）；于等人 （2011）和朱等人(2012) 使用WebKB数据作为评估数据集之一。由于不同研究者对算法的预处理步骤不同，很难对所提出的方法进行直接比较；因此我们分别将它们表示为WebKB1、····、WebKB6，并在表中显示了所提出的多视图学习方法和单视图学习方法之间的比较结果。

Blum 和 Mitchell（1998）在 WebKB1 数据上评估了协同训练算法，并将其性能与单视图学习算法朴素贝叶斯的性能进行了比较。 Nigam 和 Ghani (2000) 在 WebKB2 上评估了所提出的 co-EM 方法。 Brefeld 和 Scheffer (2004) 开发了一种基于 SVM 的新型协同 EM，与单视图 SVM 和 WebKB3 上协同训练的朴素贝叶斯相比，表现出了令人满意的性能。辛德瓦尼等人 (2005) 在 WebKB4 上评估了他们提出的联合正则化方法，并将其与单视图正则化方法、单视图 SVM 和协同训练的拉普拉斯 SVM 进行了比较。于等人 (2011)以图形方式说明了协同训练算法，开发了贝叶斯协同训练，并在 WebKB5 上进行了实验。在 WebKB6 上，Zhu 等人（2012）比较了多视图方法和单视图方法在子空间学习方面的性能。

G ̈ onen and Alpaydin (2008); Varma and Babu (2009); Rakotomamonjy et al. (2008) and Xu et al. (2010) 使用了 UCI 机器学习存储库中的基准数据集。因此我们用UCI1、····、UCI4来表示这些作品各自不同的实验。在这些实验中，对几种具有代表性的多核学习方法（例如局部 MKL 和简单 MKL）进行了准确性和时间成本方面的评估。从这些比较结果中，我们发现，与单视图学习方法相比，针对实际应用适当设计的多视图学习方法确实可以显着提高性能。

“10. Conclusions” 10. 结论

在许多场景中，可以提供多个视图来描述数据。我们不是从语料库中选择一种视图或简单地将它们连接起来进行学习，而是对能够通过考虑不同视图的多样性从多视图数据中学习模型的算法更感兴趣。因此，在这篇调查论文中，我们回顾了多视图学习的当前趋势，并将这些算法分为三种不同的设置：协同训练、多核学习和子空间学习。通过分析这些不同的多观点整合方法，我们发现它们主要依靠共识原则或互补原则来确保其成功。此外，我们还研究了如何构建多个视图以及如何评估这些视图的问题。实验结果表明多视图学习的广泛发展及其与单视图学习相比的有前途的性能。

尽管该领域已经开展了大量工作，但未来仍需要解决一些重要的研究问题。由于不同视图的属性在很大程度上影响多视图学习的性能，因此有必要更加重视视图的构建、分析和评估方法。对于三组多视图学习算法来说，各有各的优点，但主要是分开设计和开发的。因此，开发一个包含不同多视图学习方法优点的多视图学习的通用框架是很有价值的。

我们的结论是，多视图学习在实践中是有效且有前途的，但迄今为止尚未得到很好的解决。要在各种应用程序中更好地处理多视图数据，还有很多工作要做。

总结

主要是5-7章，建议大家去画一下思维导图，清晰很多。这里只放除5-7章的部分，希望大家自己动手一下，只是5-7章在读完之后大概一个下午左右就能搞定。

第一次读这么长的论文，但其实还好，一些推导部分需要自己动手推一下才了解，其实我个人也有很多看不太懂的地方，问题还蛮多的，希望有大佬看到可以指点一下，感激不尽。

问题：