Diffusion-Convolutional Neural Networks论文笔记

最新推荐文章于 2024-07-06 22:59:16 发布
最新推荐文章于 2024-07-06 22:59:16 发布
阅读量300 收藏
点赞数
分类专栏： GNN 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eternal_city/article/details/121130555
版权

Diffusion-Convolutional Neural Networks

论文链接

总结

这篇文章提出了hop的概念，使一个节点能够关注到与它距离更远的节点，而不仅限于一阶邻居。

网络介绍

在这里插入图片描述
这篇论文主要针对三种分类任务。

1. 节点分类

1.1 输入

输入为两个矩阵，分别为矩阵P和矩阵X。X为图的特征矩阵（N*F)，P则是多个类似于邻接矩阵的矩阵叠加而成，也是本篇论文的核心‘hop’。
对于网络而言，hop是一个超参，当hop=1时，则P就代表着邻接矩阵；当hop=2时，P代表着邻接矩阵加上与该节点距离为2的节点的邻接矩阵（即设该节点为i，要到达节点j，最短路径为i->k->j）。hop更高时以此类推。
而图中P，实际上在论文中用P*来表示，是是将所有的邻接矩阵堆叠到一起的产物（即hop=2即将1阶邻居的邻接矩阵和2阶邻居的邻接矩阵concat到一起）。如此的话，P*就是一个N*H*N的矩阵。
所以，输入的P*和X相乘后，就得到了N*H*F的矩阵。

1.2 参数

这里的参数有 W c 和 W d W^c和W^d Wc和Wd两个，是H*F的矩阵，与输入进行点乘（element-wise)。

1.3 输出

在这里插入图片描述

1.3.1 问题

最低0.47元/天 解锁文章
飞花穿庭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
残差网络（Residual Networks, ResNets）
Enochzhu的博客
04-08 346
残差网络（Residual Networks, ResNets） </h1> <div class="clear"></div> <div class="postBody"> <div id="cnblogs_post_des...
【图论】计算图的n-hop邻居个数，并绘制频率分布直方图
池塘春草梦的博客
03-14 798
在图论中，n-hop邻居（或称为K-hop邻居）是指从某个顶点出发，通过最短路径（即最少的边数）可以到达的所有顶点的集合，其中n（或K）是这个最短路径的长度。换句话说，n-hop邻居就是在图中，从一个顶点出发，经过n步可以到达的所有顶点。举个日常生活中的例子，我们的朋友是我们的1-hop邻居，我们的朋友的朋友是我们的2-hop邻居，以此类推。如果我们想找到所有与我们最多只有三层朋友关系的人（包括我们的朋友、我们的朋友的朋友、以及我们的朋友的朋友的朋友），那么这些人就是我们的3-hop邻居。
论文笔记: Diffusion-Convolutional Neural Networks
qq_44015059的博客
04-02 1652
前言 相较于GCN早期基于频域的若干方法，这篇论文虽然内容较少，方法存在一定的局限性，但是可以说是基于空域GCN的开山之作，它提供了一个很清晰的对非欧式空间进行卷积的思路。但是正如作者在Limitation中提到的，卷积过程中需要考虑所有结点的扩散信息限制了模型在大规模图上的计算能力。所以后续的研究很多都是在邻域进行采样的，以缩小计算量。后续的GraphSAGE可以说是此种方法的升级版 要点 D...
Diffusion-Convolutional Neural Networks
qq_45312141的博客
06-18 633
Diffusion-Convolutional Neural Networks模型详述Node ClassificationGraph Classification 模型详述 AtA_tAt​表示图的邻接矩阵，PtP_tPt​表示度归一化转移矩阵，(Pt)ij​(P_t)_{ij}​(Pt​)ij​​表示由节点iii转移到jjj的概率，可以由AtA_tAt​计算得到，可以认为是权重矩阵。 AtA_tAt​矩阵有一个性质：AtA_tAt​矩阵的幂级数Atn​A^n_t​Atn​​中的一个元素(Atn)ij(A
图系列(一)图神经网络
小小何先生的学习之旅
07-04 3290
文章目录Spatial-based convolutionNN4G (Neural Networks for Graph)DCNN (Diffusion-Convolution Neural Network )MoNET (Mixture Model Networks)GraphSAGEGAT (Graph Attention Networks)GIN (Graph Isomorphism Network)Spectral-based convolution学习资源   Graph Neural Netwo
论文笔记之Diffusion-Convolutional Neural Networks
BVL的博客
01-11 6235
本文是2016年NIPS上的论文也是在graph上采用cnn进行了探讨。思路看似十分简单： 对于一张graph而言，有N个node，每个node有F个feature，每个节点关注H hop以内的信息 架构： 对于 node classification 输入：H*N*N*F 第一层：（其实对于每个node而言，通过这一层的映射，会得到一个H*F的map。对于map上的每个元素，是这么得来的
Diffusion-Convolutional Neural Networks_图神经网络_
10-03
《Diffusion-Convolutional Neural Networks_图神经网络》是一篇深入探讨图神经网络（Graph Neural Networks, GNN）技术的文献，尤其强调了散射卷积神经网络（Diffusion-Convolutional Neural Networks, DCNNs）在...
Passivity analysis of coupled reaction-diffusion neural networks with Dirichlet boundary conditions
02-07
Passivity analysis of coupled reaction-diffusion neural networks with Dirichlet boundary conditions
Exponential stability of impulsive stochastic fuzzy reaction-diffusion Cohen-Grossberg neural networks with mixed delays
02-21
Grossberg networks with mixed delays and reaction–diffusion terms is investigated in this paper. By using the properties of ‘‘M-cone’’, eigenspace of the spectral radius ...
Passivity and synchronization of coupled reaction-diffusion Cohen-Grossberg neural networks with state coupling and spatial diffusion coupling
02-07
Passivity and synchronization of coupled reaction-diffusion Cohen-Grossberg neural networks with state coupling and spatial diffusion coupling
Input and output passivity of coupled reaction-diffusion neural networks with impulsive effects
02-07
Input and output passivity of coupled reaction-diffusion neural networks with impulsive effects
论文笔记：Diffusion-Convolutional Neural Networks （传播-卷积神经网络）
a1424262219的博客
04-09 3615
Diffusion-Convolutional Neural Networks （传播-卷积神经网络）2018-04-0921:59:02 1. Abstract: 　　我们提出传播-卷积神经网络（DCNNs），一种处理 graph-structured data 的新模型。随着 DCNNs 的介绍，我们展示如何从 graph structured data 中学习基...
论文阅读：《Convolutional Neural Networks for Sentence Classification》
04-26 1807
我们报告了一系列卷积神经网络（CNN）的实验，这些卷积神经网络是在预先训练过的词语向量的基础上进行训练以进行句子级别的分类任务。我们展示了一个简单的CNN，带有超级参数调整和静态向量，可以在多个基准测试中取得优异的结果。通过微调学习特定于任务的矢量可提高性能。我们另外建议对体系结构进行简单的修改，以允许使用任务特定和静态向量。本文讨论的CNN模型改进了7项任务中的4项任务的现有技术水平，其中包括情感分析和问题分类。
论文解读二代GCN《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》
www_xuhss_com的博客
01-18 1136
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 Paper Information Title：Convolutional Neural Networks on Graphs with Fast Localized Spectral FilteringAuthors：Michaël DefferrardXavier Bre
论文笔记（NLP）——Convolutional Neural Networks for Sentence Classification
大太阳
05-22 286
摘要 本篇论文报告了一系列用预训练词向量上训练的CNN进行句子级分类任务的实验。展示了有少量参数调整和静态向量的简单的CNN在多个基准上达到了很好的效果。通过微调学习特定任务的向量能够进一步提高性能。另外本篇论文对结构进行简单的修改以允许使用特定任务和静态向量。本文讨论的CNN提高了7个任务中的4个技术，包括情感分析和问题分类。 ...
CNN在文本分类的应用(内有代码实现) 论文Convolutional Neural Networks for Sentence Classification
u010960155的博客
07-31 1万+
一、CNN文本分类简介 文本分类是NLP领域的一个重要子任务，文本分类的目标是自动的将文本打上已经定义好的标签，常见的文本分类任务有： 用户评论的情感识别 垃圾邮件过滤 用户查询意图识别 新闻分类 由此看出文本分类的用途十分之广，包括知识图谱领域的关系抽取任务也是使用文本分类实现的。 有很多经典的统计学习方法可以用来做文本分类，比如SVM，LR，MaxEnt等等。这些方法的一般流程是标...
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
机器学习之保存与加载
最新发布
qq_33816117的博客
07-06 487
这篇介绍了，在MindSpore中保存和加载模型的方法,包括使用save_checkpoint保存模型参数,load_checkpoint和load_param_into_net加载参数,以及使用export导出MindIR格式模型并通过load接口加载进行推理。还介绍了这些保存和加载模型的核心API,为开发者提供了在MindSpore中管理和复用模型的实用技巧。
用 PINN（Physics-Informed Neural Networks）求解二阶Diffusion方程的PyTorch 代码
06-13
好的，以下是用 PINN 求解二阶 Diffusion 方程的 PyTorch 代码： ```python import torch import numpy as np import matplotlib.pyplot as plt # 定义求解区域的左右边界 x_left = 0.0 x_right = 1.0 # 定义时间和空间步长 delta_t = 0.001 delta_x = 0.05 # 定义神经网络的输入维度和隐藏层维度 input_dim = 2 hidden_dim = 10 # 定义神经网络的输出维度 output_dim = 1 # 定义 Diffusion 方程的初始条件和边界条件 def u_init(x): return np.sin(np.pi * x) def u_left(t): return 0.0 def u_right(t): return 0.0 # 定义神经网络模型 class PINN(torch.nn.Module): def __init__(self): super(PINN, self).__init__() self.fc1 = torch.nn.Linear(input_dim, hidden_dim) self.fc2 = torch.nn.Linear(hidden_dim, hidden_dim) self.fc3 = torch.nn.Linear(hidden_dim, output_dim) def forward(self, x, t): # 拼接时间和空间坐标作为神经网络的输入 xt = torch.cat([x, t], dim=1) h1 = torch.tanh(self.fc1(xt)) h2 = torch.tanh(self.fc2(h1)) out = self.fc3(h2) return out # 定义 PINN 的损失函数 def pinn_loss(model, x_left, x_right, delta_t, delta_x): # 定义空间和时间的网格 x = torch.linspace(x_left, x_right, int((x_right - x_left) / delta_x) + 1).unsqueeze(1) t = torch.linspace(0, 1, int(1 / delta_t) + 1).unsqueeze(1) # 计算模型在内部网格点上的预测值 x_internal = x[1:-1] t_internal = t[1:-1] u_internal = model(x_internal, t_internal) # 计算模型在左右边界上的预测值 u_left_boundary = model(x_left, t_internal) u_right_boundary = model(x_right, t_internal) # 计算初始条件和边界条件的损失 init_loss = torch.mean((model(x, torch.zeros_like(x)) - u_init(x)) ** 2) left_boundary_loss = torch.mean((u_left_boundary - u_left(t_internal)) ** 2) right_boundary_loss = torch.mean((u_right_boundary - u_right(t_internal)) ** 2) # 计算 Diffusion 方程的残差 u_x = torch.autograd.grad(u_internal, x_internal, grad_outputs=torch.ones_like(u_internal), create_graph=True)[0] u_xx = torch.autograd.grad(u_x, x_internal, grad_outputs=torch.ones_like(u_x), create_graph=True)[0] f = u_xx - (1 / delta_t) * (u_internal - u_init(x_internal)) # 计算残差的损失 residual_loss = torch.mean(f ** 2) # 计算总的损失 loss = init_loss + left_boundary_loss + right_boundary_loss + residual_loss return loss # 初始化神经网络模型和优化器 model = PINN() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 训练神经网络模型 for i in range(10000): optimizer.zero_grad() loss = pinn_loss(model, x_left, x_right, delta_t, delta_x) loss.backward() optimizer.step() if i % 1000 == 0: print("Iteration {}, Loss = {}".format(i, loss.item())) # 使用训练好的神经网络模型进行预测 x_test = torch.linspace(x_left, x_right, 101).unsqueeze(1) t_test = torch.linspace(0, 1, 1001).unsqueeze(1) u_test = model(x_test, t_test).detach().numpy() # 绘制预测结果 X, T = np.meshgrid(x_test, t_test) plt.pcolormesh(X, T, u_test, cmap='coolwarm') plt.colorbar() plt.xlabel("x") plt.ylabel("t") plt.title("PINN Solution to Diffusion Equation") plt.show() ``` 这段代码中，首先定义了求解区域的左右边界、时间和空间步长等参数，然后定义了 Diffusion 方程的初始条件和边界条件，以及神经网络模型和损失函数。在训练神经网络模型时，使用了 Adam 优化器，最后使用训练好的模型进行预测，并绘制了预测结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值