初识GNN与深度学习

图的计算任务

1.侧重于节点的任务

1.1 节点分类

节点常常与有用的信息相关联，这些信息可以被视为这些节点的标签。比如社交网络中，用户的年龄、性别、职业、兴趣爱好。但一般来说只有很小一部分用户提供了完整的个人属性。那些无标签的节点需要通过模型预测标签。

1.2 链接预测

一方面，有些图并不是完整的，会缺失一些点之间的链接；另一方面，许多图是自然演变的，比如在社交网络上，用户可以持续地与其他用户成为新朋友。推断这些缺失的链接有很多应用，比如好友推荐、知识图谱补全、犯罪情报分析。

2.侧重于图的任务

有图分类、图匹配和图生成

深度学习基础

1.深度前馈神经网络

用给定数据近似（拟合）某个函数f(x)。对于分类任务，一个理想的分类器f(x)可将输入x映射到目标类别Y上。前馈神经网络的训练目标是学习参数θ来得到理想分类器f(x)的最好近似函数。每个节点都从上层中所有节点聚合信息并进行变换，然后将信息传递给激活函数，激活函数决定信息有多大程度被传递到下一层。信息的聚合和变换通常是线性的，而激活函数的存在给神经网络带来了非线性的拟合能力。

1.1网络结构

在全连接的前馈神经网络中，相邻层的节点组成了一个完全二分图，即一层中的每个节点都和接下来一层中的所有节点相连。

1.2激活函数

1.2.1整流函数（Rectifier Function）

他的一个缺点是，当输入为负数时，它的梯度为0。也就是说，在训练过程中，一旦某个单元没有被激活，将无法得到训练该单元的监督信号。
针对这个问题，研究员提出一些变体，如LeakyReLU和ELU

1.2.2逻辑S形函数和双曲正切函数

逻辑S型函数将输入映射到0到1的数值范围内。

双曲正切函数将输入映射到-1到1的数值范围内。
这两个函数在当输入在0附件时，才比较敏感，大大影响了梯度训练方法的实用性。