(AAAI2020 Yao) Graph Few-shot Learning via knowledge transfer

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

22-5-13 seminar上和大家分享了这篇文章，重新整理一下在博客里备个份
[0]Graph few-shot learning via knowledge transfer

起因是在MLNLP的公众号上看到了张初旭老师讲的小样本图学习，虽然没看到录像，但是把ppt下下来研究了一下。所以本文中出现的图片许多都是张老师ppt中的图，在张老师的主页上能够找到的这份PPT。

前置知识

图与图表示学习

首先，老生常谈的，自然界中有许多的图数据和应用，包括社交的，安全的，医学的，化学的等等等等。
其中一种方法称为图表示学习，通过一个模型生成嵌入，可以用于下游任务中，包括节点级别的，边级别的，图级别的各种任务。 这里的嵌入指的是数据输入模型后得到的输出，往往是数据的低维表示。
这种图表示学习，对于具体的任务，非常依赖充足的标签数据。
于是就遇到了相应的挑战，在图上，有许多数据只有很少的标签数据。例如在社交图中有4000个以上的类别只有不到100个节点，在ins上的毒品交易，天生样本量就很少等等。
于是就发现小样本学习是研究这种问题的一个解决方案。

小样本学习简介

小样本学习的训练流程

概念：小样本学习是一类具有很少监督信息，或者是几个标签的机器学习问题。
小样本学习的目标是，通过补充其他的训练数据来模拟目标的小样本学习任务，来从补充数据中学习到一种元知识。
具体来说，使用的是一种称为n-way k-shot 的学习方式。
如图所示，为一个5-way 1-shot的小样本学习。

way，指的是数据集中类别的数量，图中为5个类别。shot，指的是数据集中每个类别图片的数量，图中每个类别只有一张图片。
小样本学习分为两个阶段，第一个阶段称为元训练，第二个阶段称为元测试。然后每个数据集被分成两组，一组称为支持集，另一组叫查询集。这里需要明确的是，小样本学习会有非常非常多不同的数据集，每个数据集都十分的小，都被分成查询集和支持集两个部分。
在元训练的阶段，首先会用许多不同的数据集对模型进行训练，这些数据集的类别可以毫不相干。如上图所示，meta-training阶段的两个数据集，除了鸟那一类是相同的类别，其他九个类别都不相同。这表明小样本学习并不希望模型学习到类别的特征，而是去学习如何更好的区分类别与类别之间的不同。
在这个阶段中，支持集就可以看做普通机器学习中的训练集，用于模型的训练，而查询集就可以看作是测试集，用于判断模型是否训练到最优
得到训练过的模型以后，进入第二个阶段，称为元测试。首先使用元测试的支持集上训练模型，让模型对该数据集进行一定的微调，让这个模型更好的适应这个元测试阶段的数据集，然后在查询集上运行，查看测试结果。

基于度量的方法

基于度量的方法，代表模型为prototypical net[1]和matching net[2]。
这个方法和我们做嵌入的方法很像，就是通过距离来判断类别。通过计算支持集和查询集的相似度，来学习embedding函数。如图所示，

公式为ck=1|Sk|∑(xi,yi)∈Skfϕ(xi)ck=1|Sk|∑(xi,yi)∈Skfϕ(xi)\mathbf{c}_{k}=\frac{1}{\left|S_{k}\right|} \sum_{\left(\mathbf{x}_{i}, y_{i}\right) \in S_{k}} f_{\phi}\left(\mathbf{x}_{i}\right)，嵌入函数即为fϕ(xi