Transductive Learning 和 Inductive Learning

最新推荐文章于 2023-02-20 01:54:06 发布

big_matster

最新推荐文章于 2023-02-20 01:54:06 发布

阅读量825

点赞数 1

分类专栏：零样本概览前部分文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/kuxingseng123/article/details/128026729

版权

零样本概览前部分专栏收录该内容

26 篇文章 2 订阅

订阅专栏

简介

在 kipf-GCN 和 GraphSage 中，对 Transductive Learning 和 Inductive Learning 有了比较深刻的认识。
kipf-GCN 在其论文中提到算法属于 transductive node classification，也就是在训练节点embedding的时候要看到全图的节点，这是因为kipf-GCN使用了拉普拉斯矩阵。kipf-GCN 的半监督指的是只知道少部分节点的标签信息。基于 transductive 的 kipf-GCN 不会自然泛化到看不见的节点。
GraphSAGE 学习了一个聚合函数，该函数通过从节点特征信息（例如，文本属性）及本地邻域抽样和聚合特征来生成嵌入。可以有效地为训练期间看不见的数据生成embedding。
在周志华的《机器学习》半监督一节1中，也提到了transductive learning，翻译为直推学习，其解释为

半监督学习可以进一步分为纯(pure)半监督学习和直推学习（transductive learning),前者假定训练数据中的未标记样本并非带预测的数据，而后者则假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的就是在未标记的样本上获得最优泛化性能。换言之，纯半监督学习是基于开放世界的假设，希望学习到的模型能适用于训练过程中未观察到的数据，直推式学习是基于封闭世界假设，仅试图对学习过程中观察到的未标记样本进行预测。
图示如下：

文中的纯半监督学习可以理解为Inductive Learning。当然，Transductive Learning 和 Inductive Learning 的概念并不局限于半监督学习。

直推式学习的例子包括：Kipf-GCN、基于图的标签传播算法(LPA）。
归纳式学习的例子包括我们接触的绝大多数的例子，比如cv中经典的ResNet图像分类。 FaceNet人脸识别等。

定义

Transduction 是从观察到的、特定的训练样本到特定的测试的推理。
Induction 是从观察到的训练样本生成规则推理，然后将规则推理应用于测试样本。（中间经过规则推理）
Inductive learning 与我们通常所知的传统监督学习相同。基于已经拥有的标记训练数据集构建和训练机器学习模型。然后我们使用这个训练过的模型来预测以前从未遇到过的测试数据集的标签。
Transductive learning 事先看到了所有数据，包括训练和测试数据集。通常训练集是带标签的数据，测试集是不带标签的数据。从已经观察到的训练集和测试集中学习，然后预测测试数据集的标签。在训练过程中，使用的是测试集中除了标签以外的其他信息，比如在图中测试数据的结构信息（参见kipf-GCN）。

两者的区别

在这里插入图片描述
在输入流引入新数据点的情况下，Transductive Learning 可能会变得昂贵。每次新的数据点到达时，都必须重新运行所有内容。另一方面，Inductive Learning最初建立一个预测模型，新的数据点可以在很短的时间内用更少的计算来标记。
（新的数据点可以在很短时间内用更少的计算来标记）