A Survey on Multi-view Learning | 论文精简翻译

最新推荐文章于 2024-07-23 17:18:01 发布

墨理学AI

最新推荐文章于 2024-07-23 17:18:01 发布

阅读量2.2k

点赞数 2

分类专栏： # 调研学习

本文链接：https://blog.csdn.net/sinat_28442665/article/details/108362278

版权

调研学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

备注：这篇 2013年 综述性质文章长达 60 页，因此这里只是翻译了论文中很小部分总结和陈述；感谢支持；

分享：文末有分享关于 Multi-view 相关论文，欢迎关注墨理三生，进行下载；

文章目录

主观总结：

该论文首先给出了多视图 数据层面的相关定义；
应用多视图遵循的两个原则： 共识原则和互补原则。
主体都是围绕 协同训练，多核学习和子空间学习 这三个细分方向的领域知识和应用案例来展开总结归纳；

论文题目和作者

Abstract

近年来，已经提出了很多通过考虑不同视图的多样性来从多视图数据中学习的方法。这些视图可以从多个来源或不同的特征子集中获得。例如，可以使用从多个来源获得的信息来通过面部，指纹，签名或虹膜来识别人，而可以通过其颜色或纹理特征来表示图像，可以将其视为图像的不同特征子集。在尝试组织并强调各种多视图学习方法之间的相似性和差异时，我们回顾了不同领域中的多种代表性多视图学习算法，并将其分为三类：

1 协同训练（co-training）
2 多核学习（multiple kernel learning）
3 子空间学习（subspace learning）

值得注意的是，协同训练风格算法会交替训练，以最大程度地在两个不同的数据视图上达成共识。
多种内核学习算法利用自然对应于不同视图的内核，并以线性或非线性方式组合内核以提高学习性能；子空间学习算法旨在通过假设输入视图是从该潜在子空间生成的，来获得多个视图共享的潜在子空间。

尽管在整合多视图以提高学习性能的方法上存在很大差异，但它们主要利用共识原则或补充原则来确保多视图学习的成功。由于构建多视图是多视图学习的基础，因此除了研究从多视图学习模型外，研究如何构造多视图以及如何评估这些视图也很有价值。总体而言，通过探索不同视图的一致性和互补性，与单视图学习相比，多视图学习变得更加有效，更有希望并且具有更好的泛化能力。

1. Introduction

常规的机器学习算法（例如支持向量机，判别分析，内核机器和频谱聚类）将所有多个视图合并为一个视图，以适应学习设置。但是，在小规模训练样本的情况下，此串联会导致过度拟合，并且在物理上没有意义，因为每个视图都具有特定的统计属性。与单视图学习相反，作为一种新范例的多视图学习引入了一种功能来对特定视图建模，并共同优化所有功能以利用相同输入数据的冗余视图并提高学习性能。因此，多视图学习受到了越来越多的关注，现有的算法可以分为三类：

Co-training
多核学习
子空间学习

Co-training （Blum和Mitchell，1998）是最早的多视图学习方案之一。它交替训练以最大程度地在未标记数据的两个不同视图上达成共识。此后已开发出许多变体。
协同训练算法的成功主要取决于三个假设：
（a）充分性-每个视图足以单独进行分类，
（b）兼容性-两种视图的目标功能都极有可能为共同出现的特征预测相同的标签
（c）条件独立性-带有标签的视图具有条件独立性。条件独立性假设是至关重要的，但在实践中通常难以满足。

最初开发 Multiple kernel learning (MKL) 来控制可能的核矩阵的搜索空间容量，以实现良好的概括性，但已广泛应用于涉及多视图数据的问题。这是因为MKL中的内核自然地对应于不同的视图，并且线性或非线性地组合内核可以提高学习性能。

基于 Subspace learning 的方法旨在通过假设输入视图是从该潜在子空间生成的，来获取多个视图共享的潜在子空间。潜在子空间的维数低于任何输入视图的维，因此子空间学习可有效减少“维数的诅咒”。有了这个子空间，就可以直接执行后续任务，例如分类和聚类。

在回顾多视角学习的文献时，我们发现它与机器学习中的其他主题紧密相关，例如主动学习，整体学习和领域适应。

2. Principles for Multi-view Learning

对相同输入数据的冗余视图的需求是多视图和单视图学习算法之间的主要区别。由于这些观点，可以用丰富的信息进行学习任务。但是，如果学习方法无法适当应对多个视图，则这些视图甚至可能会降低多视图学习的性能。通过充分考虑多视图之间的关系，提出了几种成功的多视图学习技术。我们分析了这些各种算法，并观察到确保成功的两个重要原则：共识原则和互补原则。

2.1 Consensus Principle

2.2 Complementary Principle

3. View Generation

多视图学习的优先级是获取冗余视图，这也是与单视图学习的主要区别。多视图生成不仅旨在获得不同属性的视图，而且还涉及确保视图充分代表数据并满足学习所需假设的问题。在本节中，我们将说明如何构造多个视图以及如何评估这些视图。
3.1 View Construction
实际上，可以经常从不同的角度描述对象。网络分类问题是一个经典的多视图示例。通常，可以通过页面上出现的单词或指向该页面的链接的锚文本中包含的单词来描述Web文档。但是，在许多情况下，由于某些限制，没有自然的多个视图可用，因此只能提供一个视图来表示数据。由于很难直接在单个视图上进行多视图学习，因此多视图学习的初步工作涉及从该单个视图构造多个视图。

生成不同的视图对应于特征集分区，从而概括了特征选择的任务。特征集分区不是提供单一的代表性特征集，而是将原始特征集分解为多个不相交的子集，以构造每个视图。从单一视图转换为多个视图的一种简单方法是将原始特征集随机拆分为不同的视图，并且确实有许多使用此技巧的多视图学习实验。但是，不能保证使用此方法可获得满意的结果。因此，以遵循多视图学习范式的方式对功能集进行子集化并不是一件容易的事，它取决于所选学习者和数据域。

Di 对高光谱图像数据的视图生成进行了深入研究。考虑到关键问题：多样性，兼容性和准确性，提出了几种策略来构造高光谱数据的多个视图，如下所示。
1 聚类：这些方法涉及基于相似性度量的特征聚合，目的是促进视图之间的多样性。
2 随机选择：结合特征空间套袋，随机选择可以产生更多信息，从频谱特征空间进行探索，可以消除生成无信息或损坏的视图的影响。
3均匀的频带分割：在整个光谱范围内对数据进行均匀的划分会创建视图，其中包含以相等间隔分开的频带，从而保证视图的充分性。
作者还提出，增加视图数量以增加多样性，或者增加特征空间的随机性以避免视图不足或嘈杂，可以进一步提高性能。

3.2 View Evaluation

4. View Combination

组合多个视图的一个传统方法是将所有多个视图连接到一个视图中，以适应单视图学习设置。然而，这种连接会导致在一个小的训练样本上过度拟合，并且没有实际意义，因为每个视图都有特定的统计属性。因此，与单视图学习算法相比，我们采用先进的多视图组合方法来提高学习性能。

协同训练 风格算法通常会在每个视图上训练独立但相关的学习者，并且在相同的验证点上迫使学习者的输出相似，如 Figure 2 所示。在共识原则下，每次迭代的目标是最大化验证集上两个学习者的一致性。当然，两个学习者对验证集的预测之间可能会有一些分歧。但是，这种分歧会传播回训练集，以帮助训练更准确的学习者，从而在下一次迭代中将对验证集的分歧降到最低

与其选择单个核函数进行多核学习，不如使用一个集合并允许算法选择合适的核和核组合。由于不同的核可能对应不同的相似性概念或来自不同表示的输入，可能来自多个源或模式，组合核是集成多个信息源并找到更好解决方案的一种可能方法，如 Figure 3 所示。

基于子空间学习的方法旨在通过假设输入视图是从该潜在子空间生成的，来获得多个视图共享的潜在子空间，Figure 4 所示。

5. Co-training Style Algorithms

5.1 Assumptions for Co-training
5.2 Co-training
5.3 Co-EM
5.4 Co-regularization
5.5 Co-regression
5.6 Co-clustering
5.7 Graph-based Co-training
5.8 Multi-learner Algorithms

6. Multiple Kernel Learning

6.1 Boosting Methods
6.2 Semi-Definite Programming
6.3 Quadratically Constrained Quadratic Program (QCQP)
6.4 Semi-infinite Linear Program (SILP)
6.5 Simple MKL
6.6 Group-LASSO Approaches
6.7 Bounds for Learning Kernels

7. Subspace Learning-based Approaches

7.1 Algorithms based on CCA
7.2 Multi-view Fisher Discriminant Analysis
7.3 Multi-view Embedding
7.4 Multi-view Metric Learning
7.5 Latent Space Models

8. Applications

一般来说，通过利用多视图的一致性和互补性，多视图数据的学习模型可以提高学习性能。因此，多视图学习已成功地应用于许多实际应用中。

自从Blum和Mitchell（1998）首次提出协同训练算法并将其应用于网络文档分类问题以来，这种新颖的方法引起了许多研究人员的注意，并已广泛应用于自然语言处理领域；

关于多核学习 Lin 等将其应用到目标分类中，通过线性组合图像间的相似函数，从而提高了分类性能。

子空间学习是分析数据的不同视图之间的关系的重要工具；解决面部表情识别问题；…

9. Performance Evaluation

10. Conclusions

在许多情况下，可以提供多个视图来描述数据。与其从语料库中选择一个视图或简单地将它们连接起来进行学习，我们对可以通过考虑不同视图的多样性从多视图数据中学习模型的算法更感兴趣。因此，在本调查论文中，我们回顾了多视图学习的几种当前趋势，并将这些算法分为三种不同的设置：协同训练，多核学习和子空间学习。
通过分析这些将多种观点整合的不同方法，我们观察到它们主要依靠共识原则或补充原则来确保其成功。此外，我们还研究了有关如何构建多个视图以及如何评估这些视图的问题。实验结果表明，多视图学习得到了广泛的发展，与单视图学习相比，它具有令人鼓舞的性能。
尽管在该领域已经进行了重大工作，但未来仍需要解决几个重要的研究问题。由于不同视图的属性在很大程度上影响多视图学习的性能，因此有必要更加重视构造，分析和评估视图的方法。对于三组多视图学习算法，每个都有各自的优势，但是它们主要是分别设计和开发的。因此，开发一个通用的框架是很有价值的。
多视图学习，其中包括不同的多视图学习方法的优点。我们得出的结论是，多视图学习在实践中是有效且有前途的，但迄今为止尚未得到很好的解决。要在各种应用程序中更好地处理多视图数据，仍有许多工作要做。

幸甚乐哉！