迁移学习与图形合作正规化

摘要----迁移学习被确定为一种有效的技术，去充分利用丰富的数据标记为目标域建立一个准确的分类。这个基本假设是，输入域可以共享某些知识结构，它可以被编码成常见的潜在因素和保留原始数据的重要属性，例如，统计特性和几何结构。在本文中，我们表明，输入数据的不同性质可以是彼此互补的，并且同时探索它们可以使学习模型应用到不同的域中。我们提出了一个总体框架，称为图形联合正则迁移学习（GTL），其中，各个矩阵因子模型可以合并起来。特别是，GTL旨在为知识转移，通过维护跨域的统计特性来提取共同的潜在因素。同时，通过各个领域保持几何结构来细化潜在因子，从而减轻负迁移。根据该框架，我们分别提出NMF和NMTF两种新方法。大量的实验验证GTL可以在几个公开的文本和图像数据集中显著地超越国家的最先进的学习方法。

1、介绍

    大数据的数级增长趋势来源于多个领域，这已经微创新的方法创建了一个引人注目的需求分析去管理他们。但是，对于一些新兴的目标域，标签数据通常都非常稀疏，使得标准的监督学习算法不可行。另外，从头收集足够的标记数据是非常昂贵的。有人可能会想到在一些相关的源域利用丰富的数据标签来进行准确分类。然而，标准的监督学习算法不能有效地重用跨域标签的知识，因为它们所需要的测试数据是从同一分布中获取的。近日，迁移学习[2]算法越来越受关注。迁移学习已被证明是有前途的的应用，例如，文本分类[3]，情感分析[4]，图像分类[5]，视频摘要[6]，并协同过滤[7]等。

    迁移学习的一个主问题是如何探索共享知识结构的基础输入域，作为从源域到目标域进行传播监管信息的桥梁。最近的工作，集中在普通潜因子编码知识结构和通过保持原始数据的特定属性来提取它们：

1）保留的统计特性，即，最大限度地嵌入方差或尽量减少重构误差[3]，[8]-[12];

2）保持的几何结构，即，用相似的说明编码相似的例子 [13] - [17]。特别是，这里的统计特性是指输入数据，例如，样本方差，或全球可变性[18]的描述性统计。几何结构是指嵌入歧管，其中支持输入数据的固有分布和看起来像一个low-dimensional Euclidean 空间[19]

    大多数现有迁移学习方法的主要限制是，它们不同时保留两者的统计属性和几何结构。在现实中，保留这些互补性属性对域之间不同的学习模型是重要的。在某些困难情况下，内在域结构不能有效地使用数据的一个属性来进行探索。在这种情况下，现有的方法可能遭受无效转移，即，欠拟合目标数据。在其他困难情况下，该域差异如此之大，则可能难以提取公因子来作为知识迁移的桥梁。在这种情况下，在现有的方法可能遭受负转移，即，过拟合目标数据。这些问题促使我们设计了一个框架，探讨两者的统计特性和几何结构和强大的迁移学习。

     对于无效的迁移问题，激发了朱等人。[18]统计和几何性质可能集中在原始数据的不同方面，并且在现实中彼此互补。如下所示。一方面，每个数据点可以与一些潜在因素有关。例如，一个文本文件可以被视为多个隐藏语义的组合。提取这些潜因素，保留原始数据[20]的统计特性。另一方面，从几何角度来说，数据点可以由一个低维流形嵌入到高维空间中[19]进行采样。保持这种涉及编码的类似的几何结构的例子或类似功能的嵌入。通过维护统计和几何性质，我们可以改善潜在因素的平滑度，并增强迁移学习成效。

     对于负迁移的问题，我们提出如下理由。当源域和目标域不同时，它是不可能在两个域中提取一些共同的潜在因子。如果我们提取一些“共同的”潜因素，那么它们可能会导致目标域中簇结构和源域识别结构之间的不一致。为了缓解这一问题，我们建议保持几何结构中的每个领域。

在本文中，我们提出了一个总体框架，简称为图合作正则迁移学习（GTL），实现更有效的和强大的迁移学习。尤其是，GTL旨在通过维护跨域的统计特性为知识转移提取一些共同的潜在因素。同时，通过各个领域中保持几何结构来细化潜在因素来缓解负迁移。GTL的主要假设如下：1）通过同时维护统计特性和几何性质，我们可以改善潜在因子的平滑度和提高有效迁移学习;2）通过维护各个领域的几何结构，特定领域的几何结构能够得到重视，这样来减轻负迁移。本文的主要工作总结如下：

l        为了应付来自不同领域的数据分布的巨大变化，GTL旨在同时保持统计特性和几何结构，在一个统一的框架。GTL的学习目标是加强有效迁移和缓解负迁移。如我们所知，GTL是第一个迁移学习的框架，同时也探讨了它的标准，以达到理想的学习目标。

l        许多现有的矩阵分解模型，如NMF[21]和半NMF[22]，可以很容易地纳入GTL架构，以解决迁移学习的问题。该实施方式可以通过乘法更新规则进行优化。

l        根据GTL框架下，我们进一步提出了一种基于NMF[21]和（NMTF）两种新方法[23]，这两种方法有效地执行了跨域的文本和图像分类任务。

l        文本（路透社-21578和20新闻组）和图像（PIE，USPS，MNIST，MSRC和VOC2007）验证GTL在实际生活中的应用成效。

    本文的其余部分安排如下。相关工作将在第2节回顾。在第3节中，我们提出了总体框架，实现使用NMF和NMTF两种学习算法，并分析其计算复杂度。在第4节，我们正式分析的新算法的收敛性。实验评估将在第5节。最后，我们的结论在本文第6节讨论

2、相关工作

    迁移学习建立是有效的，其中所述数据是从不同的资源和不同分布中所获得的。根据文献调查[2]，大多数迁移学习方法大致可以分为两大类：例如重加权[24]，[25]和特征提取。我们的做法属于特征提取类，大致可为三个子类别：函授学习，分布匹配，和保存数据财产。