co作为前缀的意思_一种图卷积的训练方法：Self/Co-training GCN

专栏第7篇解读的论文是《Deeper Insights into GCN for Semi-Supervised Learning》，该成果发布在AAAI 2018上。论文主要包含了两部分，第一部分是对GCN的深入理解，指出其能够work以及层数增多后算法fail的原因；第二部分则是采用self-training和co-training的方法对训练样本进行扩充。

首先论文对GCN的原理进行了解读，主要体现以下两点：

1）GCN实际上是对原始特征进行了transformation, 新的特征矩阵是邻居节点特征的加权求和，这使得GCN较一般的NN更加work。关于这一点已在专栏前面的文章中进行了详细解释，请参见：

金柔：经典半监督图卷积神经网络Semi-GCN​zhuanlan.zhihu.com

2）图卷积操作是拉普拉斯平滑的特殊形式。

因为这样的特性，使得图卷积并不是层次越多越好。因为频繁使用拉普拉斯平滑会导致over-smoothing，不同类别的节点经过变换后的特征会变得越来越相似化，这种特征混淆会导致分类任务的失败。

由于特征传播仅限于在连通网络中，并且GCN不能叠过多的层数，因此图的全局信息可能学不到。论文提出了以下两种方法解决这个问题，其基本思想还是半监督学习中的常规技术。

1.Self-training

先训练一个 GCN模型，然后使用这个训练好的模型进行预测，根据预测结果的softmax分数选择可信的样本，加入到训练集中再重新训练，如此反复。

2. Co-training

Co-training需要一个协同的分类器，论文中采取了PARW作为协同，该算法的原理可参考下面的论文：

http://www1.se.cuhk.edu.hk/~manchoso/papers/parw-nips12.pdf​www1.se.cuhk.edu.hk

P是归一化吸收概率矩阵， Pij表示从结点i被结点j吸收的随机游走概率，即i和j属于同一种类的可能性。P具有显示解

Sk表示第k类标记的数据集合，计算其他样本节点被Sk的吸收概率之和，找到t个吸收概率之和最大的结点，并将它们添加到带有标签k的训练集中训练GCN。

3. 协同训练和自训练相结合

为了提高标签的多样性并训练一个更强大的分类器，论文建议将协同训练和自训练相结，结合的方法有Union和Intersection两种。

总的来说，这篇论文思想比较简单，利用半监督学习中的技术对《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》中的算法进行了改进，下面有以下几个问题希望大家能仔细思考：

1. 为什么PARW可以考虑到global的graph structure？
2. 除了PARW还有什么算法可以作为GCN的协同？