小班课笔记
文章平均质量分 90
深度之眼GNN核心能力培养计划小班课程配套笔记
oldmao_2000
人工不智能,机器不学习。
展开
-
第九周.02.KAT
文章目录摘要IntroductionTASK FORMULATIONMETHODOLOGY本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式论文:KGAT: Knowledge Graph Attention Network for Recommendation将GNN(或者说KG)引入到推荐系统里面具体可以关注中科院何向南教授工作组的论文摘要两段式的摘要比较少见,而且比较长。第一段主要讲现有的推荐系统的目标more accurate, diverse, an原创 2022-01-29 20:37:29 · 4013 阅读 · 0 评论 -
第十五周.直播.论文写作讲解3
文章目录论文写作Introduction(5点)MethodsRelated WorkExperimentsDiscussion注意事项本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式论文写作写好论文,既能知道如何写,也能知道怎么读段落:中心句+支撑句Introduction(5点)领域重要性、问题重要性Literature/ Previous works罗列主要有哪些方法Literature/ Previous works有哪些缺点、挑战我们的方法,如原创 2021-09-13 22:00:35 · 313 阅读 · 0 评论 -
第十四周.直播.论文写作讲解2
文章目录论文选题论文构思论文选题写作举例本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式论文选题论文构思如何选题:新问题(GNN应用到生物化学,MPNN;GNN应用到推荐系统,SDNE);(老法新用)新模型(Trans系列;GCN、GAT、 GraphSAGE等,注意对比区别)。(新法)构思模型:技术迁移(SDNE, DeepWalk)改进现有模型( DeepWalk->Node2vec;Trans系列)(在某一个方面有新的突破)实验设计:参考原创 2021-09-10 15:47:59 · 136 阅读 · 0 评论 -
第八周.02.Transformer代码讲解
文章目录Model ArchitectureEncoder and Decoder StacksEncoderDecoderAttention本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式接上节,下面以哈佛大学nlp组的代码进行具体讲解。github和colab上的代码不一样。。。不知道为什么,以github的为准。Model Architecture核心代码就是EncoderDecoder中的forward:self.decode(self.encode(s原创 2021-09-06 21:03:28 · 892 阅读 · 0 评论 -
第八周.01.用图传递理解Transformer
文章目录理论回顾GNN+Transformer图结构消息传递本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式接直播理论部分内容,本节讲代码实现理论回顾https://docs.dgl.ai/tutorials/models/4_old_wines/7_transformer.html下面是单头Attention的描述:注意力计算先要算qkv和score。这里的i,j是两个单词,x是单词的特征:qj=Wq⋅xjki=Wk⋅xivi=Wv⋅xiscore=qjT原创 2021-09-06 15:42:24 · 257 阅读 · 0 评论 -
第十三周.直播.论文写作讲解
文章目录Latex-OverLeaf基本知识会议介绍-CCF论文提交-CMT, Easy chair, Open Review时间安排论文选题(待更)本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式Latex-OverLeaf之前写过一篇,可以看看https://blog.csdn.net/oldmao_2001/article/details/113715622官方的入门教程:https://www.overleaf.com/learn/latex/Lear原创 2021-08-31 12:21:25 · 170 阅读 · 0 评论 -
第十二周.直播.DGL-KG, LifeSci讲解
文章目录知识图谱背景DGL-KELifeSci双线性系列RESCAL摘要2. Modelling and Notation模型DistMult摘要模型ConvE为什么是2D不是1D卷积模型本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式DGL有三个比较知名的开源库,DGL-KG, DGL-LifeSci, DGL-Recsys,最后一个还在开发状态,没有发布,今天先来讲前面两个,重点是第一个。知识图谱背景之前Trans系列有讲过,这里再啰嗦一下:知识图谱常用三元原创 2021-08-23 19:05:20 · 686 阅读 · 0 评论 -
第七周.02.Tree LSTM代码讲解
文章目录任务和数据集介绍导入数据Step 1: Batching题外话:代码Step 2: Tree-LSTM cell with message-passing APIsStep 3: Define traversalTree LSTM模型main函数本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式之前的论文带读看这里:第七周.直播.Tree LSTM带读官网的代码看这里:https://docs.dgl.ai/tutorials/models/2_small_原创 2021-08-20 20:48:10 · 2138 阅读 · 2 评论 -
第十一周.01.GNN sampling
文章目录摘要IntroductionBACKGROUNDPROPOSED ALGORITHM原始GCN原始mini-batch SGDEmbedding utilization改进mini-batch SGD3.1 Vanilla Cluster-GCN3.2 Stochastic Multiple Partitions本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式Cluster-GCN: An Efficient Algorithm for Training De原创 2021-08-16 20:38:21 · 825 阅读 · 0 评论 -
第十周.02.LightGCN
文章目录NGCF回顾First-order Propagationhigh-order connectivityNGCF vs GNNLightGCN摘要3.1 LightGCN3.2 Model Analysis实验本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式本周主要是讲解GNN简化模型,这个研究方向不是在模型的精度上进行提高,而是把精力放在模型的简化,使得模型精度在不大幅下降的前提下,计算更加简单,模型能处理更加大的数据集。涉及到的模型有三个:SGCN、Fa原创 2021-08-12 16:47:45 · 735 阅读 · 0 评论 -
第十周.01.SGCN
文章目录GCN回顾SGCN摘要IntroductionSimple Graph Convolution(模型介绍)模型的notation2.1 GCN2.2 SGC谱域分析实验(略)本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式本周主要是讲解GNN简化模型,这个研究方向不是在模型的精度上进行提高,而是把精力放在模型的简化,使得模型精度在不大幅下降的前提下,计算更加简单,模型能处理更加大的数据集。涉及到的模型有三个:SGCN、FastGCN、LightGCN这节只原创 2021-08-11 16:23:15 · 1574 阅读 · 0 评论 -
第九周.01.Neural Graph Collaborative Filtering
文章目录CF+GNN的原理模型框架论文泛读摘要Introduction其他内容本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式论文:Neural Graph Collaborative FilteringPPT代码别人的翻译:https://www.jianshu.com/p/95da9785bea8发表在19年的信息检索顶会SIGIR(International Conference on Research and Development in Inform原创 2021-08-03 15:56:07 · 435 阅读 · 0 评论 -
第八周.直播.Transformer in Graph
文章目录注意力基础知识论文带读摘要本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式注意力基础知识这块是Transformer的基础,之前有写过很多,最主要就是《attention is all you need》,还有两篇之前写过的文章:Seq2Seq几个要点Transformer这里就不重复了,列几个之前的问题,如果能答上来,那么说明你对Transformer结构了解非常好:a. 自注意力与注意力的区别?b. 为什么要进行残差连接?c. 为什么要设置多原创 2021-07-29 20:00:48 · 483 阅读 · 0 评论 -
第七周.01.Message更新讲解+GCN实例
文章目录update_allsend_and_recvBuilt-in Function实例代码本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式update_all和send_and_recv是图网中非常重要两个函数,用人话来描述就是我们要如何汇聚邻居的信息:1、汇聚什么?节点还是边?还是节点加边?还是节点减边?2、如何汇聚?求和?最大?平均?3、汇聚后更新节点表征需要什么操作?这个不是必须的,可以是做个特征变化啥的。update_all官网说明:https原创 2021-08-20 12:54:27 · 731 阅读 · 0 评论 -
第七周.直播.Tree LSTM带读
文章目录摘要IntroductionLong Short-Term Memory Networks本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks这期内容需要有LSTM的基础,没学过LSTM直接看估计又会蒙,所以还是看这里比较容易理解:李宏毅学习笔记13.RNN Part I:RNNLSTM原创 2021-07-20 20:19:38 · 721 阅读 · 0 评论 -
第六周.03.GIN代码实操
文章目录GINConvGIN 模型parse问题记录本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式接上次GIN论文带读,这次对GIN进行实现,代码参考:https://github.com/dmlc/dgl/blob/master/examples/pytorch/gin/main.py这里要重点关注原文的公式4.1:hv(k)=MLP(k)((1+ϵ(k))⋅hv(k−1)+∑u∈N(v)hu(k−1))(4.1)h_v^{(k)}=MLP^{(k)}\le原创 2021-07-17 14:52:02 · 3371 阅读 · 1 评论 -
第六周.02.VGAE带读+代码实操
文章目录本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式本周涉及到auto encoder,这个思想在CV和语音处理上都有应用,有想简单了解这块的,看我的笔记:Deep Auto-encoderMore About Auto-EncoderVAE看这里:Unsupervised Learning.05: Deep Generative Model (Part I)本节主要讲VGAE:Variational Graph Auto-EncodersVariati原创 2021-07-16 21:42:09 · 5545 阅读 · 16 评论 -
第六周.01.GIN带读
文章目录摘要IntroductionPRELIMINARIES几种聚合函数的使用场景讨论本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式本次学习:How Powerful are Graph Neural Networks摘要GNN很重要Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs.GNN的原理是GNNs follo原创 2021-07-14 15:55:59 · 519 阅读 · 1 评论 -
第五周.02.标签传播与社群检测
文章目录标签传播摘要2.1 Problem setup2.2 The algorithm社群检测摘要COMMUNITY DETECTION USING LABEL PROPAGATION本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式标签传播Learning from Labeled and Unlabeled Data with Label Propagation一篇比较老的文章,因此一些写法和现在的套路对不上。另外整体比较短。摘要本文用未标记的数据来辅助标原创 2021-07-06 16:24:43 · 789 阅读 · 2 评论 -
第五周.01.PinSage论文带读.直播
论文带读Graph Convolutional Neural Networks for Web-Scale Recommender SystemsPinSage模型,主要用于大型推荐系统中。一些基础概念要了解:召回A/B testharder-and-harder training examples原创 2021-07-06 14:22:36 · 461 阅读 · 2 评论 -
第四周.直播.03.论文带读+GAT
文章目录论文1泛读摘要套路分析IntroductionPreliminaries and RelatedWorksAnalysisSolutions论文2泛读Abstract3.2. Residual Learning for GCNs3.3. Dense Connections in GCNsGAT by DGL导入定义GATLayer定义多头注意力定义模型加载数据集训练分析本文内容整理自深度之眼《GNN核心能力培养计划》公式输入请参考:在线Latex公式论文1泛读Deeper Insights原创 2021-07-04 15:38:52 · 1503 阅读 · 3 评论 -
第四周.02.RGCN代码讲解
文章目录导入包套路步骤1套路步骤2加载数据套路步骤3本文内容整理自深度之眼《GNN核心能力培养计划》参考案例:https://docs.dgl.ai/tutorials/models/1_gnn/4_rgcn.htmlRGCN在DGL里面有集成一个RGCN的layer,这个例子里面我们用自定义的方式来实现。再次强调整个图卷积模型的套路:1.先自定义模型layer;2.利用layer定义模型;3.初始化后训练。这里和原文一样,对于结点直接使用独热编码来进行初始化,然后在自定义模型layer中实原创 2021-06-26 20:13:15 · 5617 阅读 · 6 评论 -
第四周.01.GCN文本分类及RGCN模型讲解
文章目录GCN在文本识别的应用GCN文本分类摘要模型RGCN模型讲解本文内容整理自深度之眼《GNN核心能力培养计划》GCN在文本识别的应用GCN文本分类是一个半监督任务主要参考的文章是:Graph Convolutional Networks for Text Classification,是2019 AAAI(Association for the Advancement of Artificial Intelligence)(CCF A类会议)发表的一篇文章另外一篇2018 AAAI的文章是原创 2021-06-25 17:40:41 · 5081 阅读 · 1 评论 -
第三周.03.异质图应用
文章目录创建简单数据集原始数据准备建图创建图分类数据集准备数据建图大图的处理:Sampling理论实操环境准备和数据载入采样动态异质图的应用本文内容整理自深度之眼《GNN核心能力培养计划》创建简单数据集创建自己的数据集,并用于节点分类、边预测以及图分类任务。自定义数据集要继承DGLDataset这个类,并实现三个方法(其实和Torch的Dataset非常像)__getitem__(self, i): retrieve the i-th example of the dataset. An exam原创 2021-06-21 22:06:37 · 1056 阅读 · 0 评论 -
第三周.02.HAN算法详解
文章目录泛读HANDGL创建异质图多类型节点和边的异质图单类型节点和多类型边的异质图异质图的条件子图异质图转同质图本文内容整理自深度之眼《GNN核心能力培养计划》+公式输入请参考:在线Latex公式泛读HAN之前的GNN专题里面有涉及到异质图的文章有三篇,分别是:04metapath2vec05transE06GAT这次要讲的是:Heterogeneous Graph Attention Network文章发表在The 2019 World Wide Web Conference(CCF原创 2021-06-21 13:05:24 · 1536 阅读 · 8 评论 -
第三周.01.DGL应用介绍
文章目录补充知识:交叉熵karate可视化by DGL1.建图2. 设置特征定义GCN模型数据初始化模型训练及结果可视化训练可视化本文内容整理自深度之眼《GNN核心能力培养计划》补充知识:交叉熵这块知识其他课程里面有,核心就是交叉熵有两种形式,一种是原始的形式,一种是用log_softmax和nll_loss来完成交叉熵计算。具体说明可以参考这里。例子中的class对应的是索引2维度。karate可视化by DGLkarate数据集,可以在 https://github.com/aditya-原创 2021-06-20 21:53:19 · 779 阅读 · 1 评论 -
第二周.DGL初体验
文章目录Deep Graph Library基本介绍节点分类加载数据集创建GCN训练GCN图的基本操作 based on DGL点和边的特征表示查询图结构信息图的切割保存和加载图消息传递框架Message passing自定义SAGEConv定义GraphSAGE模型训练GraphSAGE的变形带权GraphSAGE卷积层定义模型训练本文内容整理自深度之眼《GNN核心能力培养计划》,第一周是GNN的理论知识复习,基本在GNN论文带读中有涵盖,就不写了。从第二周开始。https://docs.dgl.ai原创 2021-06-14 20:38:48 · 2294 阅读 · 0 评论