第一章:
-
为什么要关注图深度学习?
-
从信息表达力度上说
-
1-因为现实世界很多信息(关系)可以用图的方式表述信息
-
2-假如现实世界的信息看起来好像非图关系,我们也可以转为图关系,虽然有信息损失,但是似乎影响不大
-
-
从作用功能层面说(也就是有哪些计算任务)
-
1-图上很多计算任务,图上进行的计算处理,信息处理,可以模拟解决处理现实世界很多问题,下面是例子
-
1.1-链接预测:(边级别)
-
社交网络——朋友推荐
-
知识图谱补全
-
药物相互作用预测
-
-
1.2-节点分类问题(节点级别)
-
用户分类(性别)
-
交通预测(节点表示路段,是否拥堵)
-
空气质量预测(节点表示地方)
-
-
1.3-图分类问题(图级别)
-
药物特性预测(每个药就是一张图)
-
蛋白质特性预测(每个蛋白质就是一张图)
-
大脑网络分析(每个大脑网络就是一张图)
-
-
-
-
从和传统的机器学习技术关系来说
-
1-图上的机器学习(图上的特征提取/图上的表征学习)
-
1-从上面这张图我们可以得知,如果能很好进行特征提取或者说表征学习(学到这些节点、边,图在某个隐空间(向量空间)的某种不错的表示时或者说某种不错的特征向量与(节点,边,图)对应时,也或者说计算机感知出他们之间的信息差异(信息特点)时,这样就能交给下游的传统机器学习任务了,因为大多传统的机器学习任务都是基于特征和标签的有监督学习)
-
2-所以如何在图上进行特征提取/如何进行表征学习呢?
-
答:深度学习技术,但是遇到很多挑战,下面一一列举:
-
挑战1-节点的邻居可以任意数量个(也就是数据无规则)
-
挑战2-拓扑结构复杂,不会像图像,序列数据一样乖巧,具有一定的格式(仍然在说数据无规则)
-
挑战3-节点没有所谓的顺序,也就是无论怎么给节点安排序号,其丝毫不会影响图的任何本质信息,比如拓扑结构不会因此变化,毫无动摇(仍然在说数据没有规则)
-
综上:前向传播不易
-
-
-
-
-
-
图上的特征学习历史是怎样的?
-
我们先聊聊特征提取
-
特征工程
- 需要人工来设计特征各个维度的组成,费时费力费计算,有时候还难免考虑不全面其特征应该具备哪些维度,有时候还容易引入没有用处的特征维度,其次,特征无法优化
-
特征学习
-
特征选择
- 具有良好的可解释性:因为每个特征维度都是具有显示语义的,都是有物理意义的,训练时自动选择出对下游任务有用的特征进行组会,去除没有用处的特征
- 具有良好的可解释性:因为每个特征维度都是具有显示语义的,都是有物理意义的,训练时自动选择出对下游任务有用的特征进行组会,去除没有用处的特征
-
表示学习:
- 将信息嵌入到一个隐空间,这个隐空间是个特征向量空间,每个维度不再具备清晰的可解释性语义,隐语义模型,然后通过各种信息关系,缘聚而成,机器学习而来的(这些话听不懂,看不明白,没关系可以去学学LFM这些隐语义模型,或者深入了解表示学习)
- 将信息嵌入到一个隐空间,这个隐空间是个特征向量空间,每个维度不再具备清晰的可解释性语义,隐语义模型,然后通过各种信息关系,缘聚而成,机器学习而来的(这些话听不懂,看不明白,没关系可以去学学LFM这些隐语义模型,或者深入了解表示学习)
-
-
-
我们可以开始聊聊历史是怎样的了
-
图表示学习第一代:(基于矩阵分解技术,纯数理逻辑)
-
图表示学习第二代:(受到word2Vec启发,进行图表示嵌入,深度学习方法+采样技术)
-
图表示学习第三代(纯粹的图深度学习,基于下游任务)
-
-
-
本课程关注哪些内容?
-
直接上图
- 理论基础+方法+应用+前沿
-
理论基础
-
方法
-
图嵌入
-
图神经网络
-
图滤波是进行节点的或者边的表示学习
- 不会改变拓扑结构
- 方法:基于谱的图滤波+基于空间的图滤波
- 不会改变拓扑结构
-
图池化理解为对信息的聚合得到图的整体表示或者子图表示
- 方法:层次图池化+平面图池化(会改变拓扑结构)
-
鲁棒性
-
可扩展性
-
-
其他图上的深度想学习模型
-
图上的变分编码器
-
图上的对抗生成网络
-
LSTM+Tree-LSTM
-
-
-
应用:(应用可太多了)
-
自然语言处理方面
-
推荐系统
-
计算机视觉
-
生物医疗
-
-
前沿:
-
可表达性
-
过平滑问题(图神经网络层次越深,学到的表示变得都相似起来,不具有区分度了,类似过拟合)
-
图上的自监督学习
-
可解释性(打开黑盒子)
-
一些新的应用
-
-