Transductive Learning 和 Inductive Learning

November丶Chopin

已于 2022-10-10 09:17:08 修改

阅读量657

点赞数 1

分类专栏：专栏05-Machine Leaning 文章标签：机器学习

于 2022-10-09 22:55:36 首次发布

本文链接：https://blog.csdn.net/u012762410/article/details/127213748

版权

专栏05-Machine Leaning 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

前言

本文参考了wiki百科、周志华《机器学习》、论文GraphSage、博文《Inductive vs. Transductive Learning》。

简介

在 kipf-GCN 和 GraphSage 中，对 Transductive Learning 和 Inductive Learning 有了比较深刻的认识。

kipf-GCN 在其论文中提到算法属于 transductive node classification，也就是在训练节点embedding的时候要看到全图的节点，这是因为kipf-GCN使用了拉普拉斯矩阵。kipf-GCN 的半监督指的是只知道少部分节点的标签信息。基于 transductive 的 kipf-GCN 不会自然泛化到看不见的节点。

GraphSAGE 学习了一个聚合函数，该函数通过从节点特征信息（例如，文本属性）及本地邻域抽样和聚合特征来生成嵌入。可以有效地为训练期间看不见的数据生成embedding。

在周志华的《机器学习》半监督一节¹中，也提到了transductive learning，翻译为直推学习，其解释为

半监督学习可进一步分为纯(pure)半监督学习和直推学习(transductive learning)，前者假定训练数据中的未标记样本并非带预测的数据，而后者则假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的就是在这些未标记样本上获得最优泛化性能。换言之，纯半监督学习是基于“开放世界”假设，希望学到的模型能适用于训练过程中未观察到的数据；直推学习是基于“封闭世界”假设，仅试图对学习过程中观察到的未标记样本进行预测。

图示如下：
在这里插入图片描述
文中的(纯)半监督学习，可以理解为 Inductive Learning。当然，Transductive Learning 和 Inductive Learning 的概念并不局限于半监督学习。

Transductive Learning 的例子包括kipf-GCN、基于图的标签传播算法( Label Propagation Algorithm，LPA)。
Inductive Learning 的例子包括我们接触的绝大多数例子，比如CV中经典的ResNet图像分类、FaceNet人脸识别等。

定义

Transduction 是从观察到的、特定的训练样本到特定的测试的推理。
Induction 是从观察到的训练样本生成规则推理，然后将规则推理应用于测试样本。

Inductive learning 与我们通常所知的传统监督学习相同。基于已经拥有的标记训练数据集构建和训练机器学习模型。然后我们使用这个训练过的模型来预测以前从未遇到过的测试数据集的标签。

Transductive learning 事先看到了所有数据，包括训练和测试数据集。通常训练集是带标签的数据，测试集是不带标签的数据。从已经观察到的训练集和测试集中学习，然后预测测试数据集的标签。在训练过程中，使用的是测试集中除了标签以外的其他信息，比如在图中测试数据的结构信息（参见kipf-GCN）。

两者区别

$\qquad$	$\qquad$ Transductive Learning	$\qquad$ Inductive Learning
数据	训练模型时已经遇到了训练和测试数据集	在训练模型时只遇到训练数据，并将学习到的模型应用在它从未见过的数据集上。
模型	不会构建预测模型，如果测试数据集中添加了新的数据点，那么我们将不得不从头开始重新运行算法，训练模型然后用它来预测标签	构建预测模型，当你遇到新的数据点时，不需要从头开始重新运行算法。
总结	建立一个模型，适合它已经观察到的训练和测试数据点。这种方法利用标记点的知识和附加信息预测未标记点的标签。	试图建立一个通用模型，根据观察到的一组训练数据点来预测任何新的数据点