lingwenzhenjun-CSDN博客

原创 2021-09-13 Datawhale组队学习-李宏毅机器学习-Task01

[机器学习]约等于找一个函数函数的不同类型[回归]：函数输出是一个数值[分类]：给定几个分类选项，函数输出正确的选项[结构化学习]：创造结构化的事物（图像、文本等）Function with unknown parametersy=b+wx1y=b+wx_1y=b+wx1x1x_1x1: feature(domain knowledge)www: weightbbb: biasDefine Loss from training dataLoss is a function of

2021-09-13 17:18:02 127

原创 Datawhale GNN 组队学习--总结

Datawhale GNN 组队学习总结此次组队学习是关于图神经网络实战的学习：在话题一，我们学习了基本的图论知识、常规的图预测任务和PyG库的安装与使用；在话题二，我们学习了实现图神经网络的通用范式并实践了图神经网络的构建；在话题三，我们以GCN和GAT（两个最为经典的图神经网络）为例，学习了基于图神经网络的节点表征学习的一般过程，实践了基于PyG的数据全部存于内存的数据集类的构造，并且实践了基于节点表征学习的图节点预测任务和边预测任务；在话题四，我们学习并实践了应对在超大图上进行节点表征学习

2021-07-10 12:52:19 118

原创 Datawhale GNN组队学习-Task 07

超大规模数据集类的创建在一些应用场景中，数据集规模超级大，我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。Dataset基类简介在PyG中，我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。此基类与Torchvision的Dataset类的概念密切相关，这与第6节中介绍的torch_geometric.data.InMemoryDataset基类是一样的。继承torch_geometric.data.I

2021-07-09 20:15:37 112

原创 Datawhale GNN组队学习-Task 06

基于图神经网络的图表征学习方法概述GNN目前主流的做法是递归迭代聚合一阶邻域表征来更新节点表征，如[[GCN]]和 [[GraphSAGE]]，但这些方法大多是经验主义，缺乏理论去理解GNN到底做了什么，还有什么改进空间。How Powerful are Graph Neural Networks? 本文基于Weisfeiler-Lehman(WL) test 视角理论分析了GNN，包括：分析了GNN做了什么？在什么条件下GNN可以和WL test 一样强大？提出了满足上述一个简单的GNN框架

2021-07-05 16:58:45 174

原创 2021-07-01 Datawhale GNN 组队学习-Task05

超大图上的节点表征学习超大图训练存在的问题普通的基于SGD的图神经网络的训练方法，随着图神经网络层数增加，计算成本呈指数增长保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间论文Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Network提出了一种新的图神经网络的训练方法。搜索了一下，另外还有一篇Simple and Deep Graph Con

2021-07-01 17:28:38 115

原创 Datawhale GNN 组队学习-Task04

节点预测与边预测先贴一下一篇ICLR2021关于GNN预测过程的论文的详细笔记。图数据的天然优势是为学习算法提供了丰富的结构化信息，节点之间邻接关系的设计成为了重要的先验信息和交互约束。然而，有一部分边上的消息是可以忽略的，论文首先提出方法在不影响模型预测效果的情况下，将图结构中冗余的边drop掉。通过分析剩余边上具有怎样的先验知识，实现对GNN的预测过程加以解释。0. AbstractGNN 能够将结构归纳偏置（structural inductive biases）整合到 NLP 模型中。然而

2021-06-27 23:13:25 238 1

原创 Datawhale GNN组队学习-Task 03

基于图神经网络的节点表征学习经典论文笔记（GCN MoNet ChebNet GraphSAGE)Semi-Supervised Classification with Graph Convolutional Networks(GCN)这篇文章提出了一种图卷积网络（GCN），该网络可以直接用于处理图结构数据。从本质上讲，GCN 是谱图卷积（spectral graph convolution）的局部一阶近似（localized first-order approximation）。GCN的另一个

2021-06-23 17:33:20 227

原创 2021-06-18 Datawhale GNN组队学习-Task02

消息传递范式介绍下方图片展示了基于消息传递范式的聚合邻接节点信息来更新中心节点信息的过程：图中黄色方框部分展示的是一次邻居节点信息传递到中心节点的过程：B节点的邻接节点（A,C）的信息经过变换后聚合到B节点，接着B节点信息与邻居节点聚合信息一起经过变换得到B节点的新的节点信息。同时，分别如红色和绿色方框部分所示，遵循同样的过程，C、D节点的信息也被更新。实际上，同样的过程在所有节点上都进行了一遍，所有节点的信息都更新了一遍。这样的“邻居节点信息传递到中心节点的过程”会进行多次。如图中蓝色方框部分所示

2021-06-18 13:56:28 223

原创 2021-06-16 Datawhale GNN组队学习--Task01

@[Datawhale GNN组队学习——Task02]推荐系统中的图结构数据推荐系统中的涉及到的对象（user、item、feature等）大多数显式或隐式连接，构成天然的图并互相影响。基于图的推荐系统（GLRS）考虑到对象间的复杂关系，不仅可以丰富对象表示，还可以借助图推理提升推荐系统的可解释性。如何考虑不同的图结构的信息，为推荐系统带来了不同的挑战：树状图（item层次图）：item间具有层次关系。同层不同类的相邻item可能具有互补性（配套使用），同类item可能具有替代性（应避免重复推荐

2021-06-16 12:41:43 225

akachanmama的博客