【最优传输论文十二】Extracting Relationships by Multi-Domain Matching（NeurIPS 2018）

羊驼不驼a

已于 2023-07-23 20:55:48 修改

阅读量181

点赞数

分类专栏：最优传输文章标签：人工智能机器学习深度学习

于 2023-07-03 10:28:45 首次发布

本文链接：https://blog.csdn.net/m0_60231311/article/details/131495121

版权

摘要

在许多生物和医学环境中，通过聚集许多源来构建一个大型标记语料库来用于目标预测任务。然而许多来源可能与目标任务无关，因此忽略数据集的结构是有害的。本文提出多域匹配网络(MDMN)方法来利用数据集的结构。MDMN将所有数据嵌入到共享的特征空间中，同时学习哪些域具有强统计关系。这些关系允许领域在不受无关数据干扰的情况下分享强度。该方法建立在现有的分布匹配方法的基础上，假设源域是变化的，结果是多因素的。因此，每个域只匹配一个相关的子集。理论分析表明，该方法比现有的多域自适应方法具有更严格的泛化界。在经验上，MDMN方法处理了更多的源域(多达21个)，并在图像、文本和多通道时间序列分类方面提供了最先进的性能，包括在评估自闭症谱系障碍新治疗方法的开放标签试验中的临床结果数据。

1介绍

最近的多域自适应方法包括学习从每个域到公共特征空间的映射，其中目标域和源域的观测值具有相似的分布。在测试时，首先将目标域观测映射到该共享特征空间中，然后进行分类。很少有方法考虑到不同域之间的关系，然而这确实至关重要的。

首先，尽管不同领域中的数据共享标签，但它们的原因和症状可能不同。患有相同病症的患者可能由各种原因引起，并且在诊断时只共享一小部分症状。提取患者之间的这些关系在实践中是有帮助的，因为它将模型限制为只有相关信息。第二，如上所述，训练语料库可以在较大的群体中仅使用少量来源构建。例如，我们可能从许多数据“小”的患者中收集数据，并使用域适应来推广到新患者。因此，提取这些关系具有重要的实际意义。

文中使用“Wasserstein-like”度量来定义证明中的域相似性。在本文中的“Wasserstein-like”距离将h散度的二进制输出扩展到实概率输出。

本文的主要贡献是映射了(i)源和目标之间以及(ii)源域内的分布。将一个领域与其他领域的相关子集相匹配是必要的。本文提出的方法MDMN如图1(b)所示，与标准的源目标匹配方案(图1(a))进行了对比，显示了源域的匹配情况。这种调整允许已经相似的域合并并共享统计强度，同时保持距离较远的域集群彼此分离。在测试时，只使用与目标最相关的域。从本质上讲，这在所有域上诱导了一个潜在的稀疏图，图2中我们的一个实验对22名患者进行了可视化。任何神经网络架构都可以修改为使用MDMN，它可以被认为是一个独立的领域匹配模块。

图2是采用所提出的模型MDMN对22例患者诱导的可视化图。每个节点代表一个主题，目标域用蓝色表示。尽管目标只与一个源域强连接，但源域之间的链接允许它们共享强度并做出更健壮的预测。这些线是用MDMN中学习到的方向权重的平均值来标记的

2方法

多域匹配网络(MDMN)基于一种直觉，即在提取的特征空间中，本质上相似的域应该具有相似或相同的分布。通过源域内的强度共享，MDMN可以更好地处理各域内的过拟合问题，同时还可以学习域之间的关系。

整个框架如图3所示，由一个特征提取器(或编码器)、一个域适配器和一个标签分类器组成。本文将这三个实例化为神经网络。编码器E将数据点x映射到特征向量E(x)。然后标签分类器使用这些特征对被监督的任务进行预测。域适配器则使用它们，以鼓励提取的特征E(x)在邻近域之间相似。

2.1基于关系提取的领域自适应

为了使一个域适应其他域，考虑与每个分布与其余分布的加权平均值之间的距离成比例的惩罚。其中，设 $P_{s}$ 为域 $D_{s}$ 中数据点x的分布， $P_{/s}=\frac{1}{S-1}\sum _{s^{'}=1}^{S}w_{ss^{'}}P_{s^{'}}$ 为所有其他域 $D_{/s}^{w_{s}}$ 数据的分布。权值 $w_{s}=[w_{s1},...,w_{sS}]$ 是特定于域的， $w_{s}\in \mathbb{R}^{S}$ ，其中 $w_{s}$ 位于单纯形上，其中||ws||1 = 1, $w_{ss^{'}}\geq 0,s^{'}=1,...,S,w_{ss}=0$ 。在下文中，为了简化符号，我们将

最低0.47元/天解锁文章

羊驼不驼a

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
【最优传输论文十二】Extracting Relationships by Multi-Domain Matching（NeurIPS 2018）

最近的多域自适应方法包括学习从每个域到公共特征空间的映射，其中目标域和源域的观测值具有相似的分布。在测试时，首先将目标域观测映射到该共享特征空间中，然后进行分类。很少有方法考虑到不同域之间的关系，然而这确实至关重要的。首先，尽管不同领域中的数据共享标签，但它们的原因和症状可能不同。患有相同病症的患者可能由各种原因引起，并且在诊断时只共享一小部分症状。提取患者之间的这些关系在实践中是有帮助的，因为它将模型限制为只有相关信息。第二，如上所述，训练语料库可以在较大的群体中仅使用少量来源构建。
复制链接

扫一扫