八、图神经网络基础【CS224W】（Datawhale组队学习）

最新推荐文章于 2024-10-06 11:24:32 发布
最新推荐文章于 2024-10-06 11:24:32 发布
阅读量799 收藏
点赞数
分类专栏： Python 深度学习 文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46378251/article/details/129301820
版权

请添加图片描述

开源内容：https://github.com/TommyZihao/zihao_course/tree/main/CS224W

子豪兄B 站视频：https://space.bilibili.com/1900783/channel/collectiondetail?sid=915098

斯坦福官方课程主页：https://web.stanford.edu/class/cs224w

文章目录

前言

  • 机器学习 = 数据挖掘 = 人工智能
  • 深度学习：使用深度神经网络进行机器学习
  • 图深度学习：使用深度学习对图进行机器学习
  • 图深度学习 = 图神经网络

深度学习基础

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

监督学习

在这里插入图片描述

损失函数

在这里插入图片描述
在这里插入图片描述

随机梯度下降

  • iteration = step= 输入一个mini batch = 一次迭代 = 一步
  • epoch = 一轮 = 完整遍历训练集的所有样本一遍

在这里插入图片描述
在这里插入图片描述

反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

图神经网络简介

图表示学习的发展历史

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

图神经网络

在这里插入图片描述

图滤波操作

在这里插入图片描述

通用的GNN框架（节点任务）

在这里插入图片描述

图池化操作

在这里插入图片描述

通用的GNN框架（图任务）

在这里插入图片描述

谱图论

拉普拉斯矩阵作为算子

在这里插入图片描述

拉普拉斯矩阵的特征分解

在这里插入图片描述

特征向量作为图上的信号

在这里插入图片描述

图傅立叶变换（GFT）

在这里插入图片描述
在这里插入图片描述

图滤波

两大类图滤波操作

在这里插入图片描述

最早的图滤波操作

在这里插入图片描述

图谱滤波

在这里插入图片描述
在这里插入图片描述

将图谱滤波运用到GNN上

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

GCN-Filter: 简化的Cheb-Filter

在这里插入图片描述

处理多通道图信号的GCN-Filter

在这里插入图片描述

从空间域理解GCN-Filter

在这里插入图片描述
GraphSage-Filter
在这里插入图片描述
ECC-Filter
在这里插入图片描述
GGNN-Filter
在这里插入图片描述
MPNN
在这里插入图片描述
PPNP
在这里插入图片描述
APPNP
在这里插入图片描述

在这里插入图片描述
一些滤波操作的简单回顾
在这里插入图片描述

从图信号降噪的角度理解GCN-Filter

在这里插入图片描述
在这里插入图片描述
从图降噪角度理解PPNP
在这里插入图片描述
在这里插入图片描述
从图降噪角度理解GCN
在这里插入图片描述
在这里插入图片描述
从图降噪角度理解GAT
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一个统一的理解
在这里插入图片描述
一个统一的框架: UGNN
在这里插入图片描述

利用UGNN设计新的图滤波操作
在这里插入图片描述
Graph Trend Filtering
在这里插入图片描述

图池化

图池化操作

在这里插入图片描述

通用的GNN框架（图任务）

在这里插入图片描述

平面池化

在这里插入图片描述

平均池化和最大池化

在这里插入图片描述

添加虚拟节点进行池化

在这里插入图片描述

基于注意力机制的平面池化

在这里插入图片描述

层次图池化操作

在这里插入图片描述
gPool
在这里插入图片描述
SAGPool
在这里插入图片描述
DiffPool
在这里插入图片描述
在这里插入图片描述
Eigenpooling
在这里插入图片描述
通过傅立叶变换得到
在这里插入图片描述
在这里插入图片描述

用傅立叶系数作为特征
在这里插入图片描述

用截断傅立叶系数作为特征
在这里插入图片描述

总结

本文主要回顾了一下深度学习的相关知识，先从总体上对图神经网络进行了简要介绍，图表示学习从数据降维发展到图嵌入到图神经网络。图神经网络需要一些谱图论的知识，因此本文又介绍了谱图论的相关知识，包括拉普拉斯矩阵和傅里叶变化等。最后介绍了图神经网络中常见的两种操作：图滤波和图池化。

卡拉比丘流形
关注
专栏目录
论文笔记：GGNN (门控图神经网络)
一个小彩笔
04-13 3万+
基本概念 GGNN是一种基于GRU的经典的空间域message passing的模型 问题描述 一个图 G = (V, E)， 节点v ∈ V中存储D维向量，边e ∈ E中存储D × D维矩阵， 目的是构建网络GGNN。 实现每一次参数更新时，每个节点既接受相邻节点的信息，又向相邻节点发送信息。 主要贡献 基于GRU提出了GGNN，利用RNN类似原理实现了信息在graph中的传递。 传播模型 ...
图卷积神经网络及其应用（Graph neural networks） - ICLR 2019.zip
10-30
图卷积神经网络及其应用，来自中科院计算所沈华伟博士在ICLR 2019顶会上的演讲稿，欢迎大家下载学习。
GNN和GGNN学习笔记
yangliu_w的博客
10-23 2742
GNN 对于图上每个节点被编码为嵌入向量，因此，节点可能是一个图，可以通过cnn进行计算，可能是一个词、一个嵌入，它可以是自己希望的任何东西，这是图神经网络的输入。 对于F，GNN处理可以看作节点的特征提取，F通过不同的边类型与E和D连接，D和F有自己的初始向量。 从F的邻居开始，做一些类似计算消息的操作，实际上是获得另一个向量。合并得到的邻居消息结合F节点当前状态，将更新t时刻的F节点状态(拥有自身和邻居的信息)。 具体一点，x代表邻居信息，是由当前节点的边类型为K的邻居信息合并而成。 对于图神
GNN图神经网络的原理及GGNN、GCN原理及发代码分析
forthenight996的博客
08-30 4747
GNN图神经网络的原理及GGNN、GCN原理及发代码分析
GGNN和GCN的几篇论文笔记
03-10
GGNN和GCN的几篇论文笔记，介绍常用的两种图神经网络。个人笔记。
斯坦福_图机器学习_CS224W_课程讲义.zip
02-04
斯坦福_图机器学习（图神经网络）_CS224W_课程讲义（包含homework）
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
全球名校课程作业分享系列(4)--斯坦福计算机视觉与深度学习CS231n之双层神经网络完成图像多分类
寒小阳
01-23 1万+
课程作业原地址：CS231n Assignment 1 作业及整理：@林凡莉 && @Molly && @寒小阳 时间：2018年1月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79139395 1 任务 在这个练习里，我们将实现一个完全连接的神经网络分类器，然后用CIFAR-10数据集进行测试。 2 知识点
通俗讲解深度学习和神经网络！
Datawhale
12-02 6491
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：知乎King James，伦敦国王大学知乎 ｜https://www.zh...
全球名校课程作业分享系列(6)--斯坦福计算机视觉与深度学习CS231n之神经网络细解与优化尝试
寒小阳
02-07 9560
课程作业原地址：CS231n Assignment 1 作业及整理：编写：@土豆 && @郭承坤 && @寒小阳 时间：2018年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79278882 待折腾的数据集 关于神经网络你起码应该知道的 所谓的前向传播 一个神经元的本事 强大的层状神经元 不废话了看代码
CNN中的filter
ncst
07-09 2万+
分解一张图片 CNN 的第一步是把图片分成小块。我们通过选取一个给定宽度和高度的滤波器来实现这一步。 滤波器会照在图片的小块 patch （图像区块）上。这些 patch 的大小与滤波器一样大。 如之前视频所示，CNN用滤波器来把图片分割成更小的 patch，patch 的大小跟滤波器大小相同。
GGNN----------门控图神经网络
Major_S的博客
06-08 1566
GGNN----------门控图神经网络
GCN (Graph Convolutional Network) 图卷积网络解析
AI工匠Book
03-13 2265
最近研究图卷积，看到一篇言简意赅的解析文章，包括GNC层代码自定义。版权声明：本文转载自CSDN博主「邢翔瑞」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/weixin_36474809/article/details/89316439 目的：图卷积网络近两年大火，博主实习需要用到。接下来几个月就会在图...
GNN、GCN原理及推导
liaominghui123的博客
07-19 2410
在这里插入图片描述 GNN分为两个角度去研究，一个空间域，一个谱域。 Spatial-based Conovolution 空间域的卷积就是空间上的卷积，跟CNN很像，就是综合一个节点的邻接节点的特征用来生成下一层的该点的特征然后整合成下一层的图： 1,NN4G 如上图，这里的卷积就是，对于v3来说，下一层的V3的特征就是一个参数（矩阵）乘以这一层的邻接点的特征，然后加上自己的特征与一个参数矩阵的乘积之后的输出跟CNN不一样，输出的y是前面所有层的平均然后分别乘以可训练矩阵后加起来得到： 为什么相加呢？可
使用matlab生成高斯滤波模板_四种图像滤波算法实现及原理解析
weixin_34168228的博客
01-01 2797
前言本文解析四种常见的图像滤波算法，并附上源码。图像滤波是一种非常重要的图像处理技术，现在大火的卷积神经网络其实也是滤波的一种，都是用卷积核去提取图像的特征模式。不过，传统的滤波，使用的卷积核是固定的参数，是由经验丰富的人去手动设计的，也称为手工特征。而卷积神经网络的卷积核参数是未知的，是根据不同的任务由数据驱动去学习得到的参数，更能适应于不同的任务。目录自适应中值滤波高斯滤波双边滤波导向滤波自适...
【Python】全网最新最全Pyecharts可视化教程(一)
fengdu78的博客
08-02 2958
数据可视化能够更加直观的将数据的趋势展现出来，而绝大数人对于数据可视化的选择要么是matplotlib或者是seaborn，本文将从比较热门的可视化模块pyecharts入手，向读者介绍...
YOLO11改进|注意力机制篇|引入上下文锚注意力机制CAA
最新发布
A1983Z的博客
10-06 1328
YOLO11中添加CAA注意力机制
YOLOv8 结合设计硬件感知神经网络设计的高效 Repvgg的ConvNet 网络结构 ，改进EfficientRep结构
qq_53545309的博客
10-03 383
摘要—我们提出了一种硬件高效的卷积神经网络架构，它具有类似 repvgg 的架构。Flops 或参数是评估网络效率的传统指标，这些网络对硬件（包括计算能力和内存带宽）不敏感。因此，如何设计神经网络以有效利用硬件的计算能力和内存带宽是一个关键问题。基于该方法，我们设计了 EfficientRep 系列卷积网络，该网络对高计算硬件（例如 GPU）友好，并应用于 YOLOv6 目标检测框架。首先在ultralytics/nn文件夹下，创建一个efficientrep.py文件，新增以下代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卡拉比丘流形

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值