神经网络基础
文章平均质量分 93
goto_past
这个作者很懒,什么都没留下…
展开
-
GNN图神经网络梳理
一、GCN 图卷积神经网络:Semi-Supervised Classification with Graph Convolutional Networks基于频谱域的图卷积神经网络,原理是通过独立于节点embedding的图拓扑结构定义用于聚集(过滤)邻居节点的权值。:本质仍是聚合邻居节点的信息,只不过可以通过数学变换得到如下的式子统一表示聚合邻居信息的过程。这样可能提高了速度但固定了GCN的聚合邻居信息的方式,导致了直推式学习的弊端。1、GCN的本质确实是利用全图进行节点的特征学习(参考:G原创 2021-08-17 20:27:40 · 1343 阅读 · 0 评论 -
EvolveGCN:动态图的参数演化图卷积网络 AAAI2020
EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs论文链接.Abstract由于深度学习在欧几里得数据中的广泛应用,图表示学习重新成为一个趋势,它激发了非欧几里得领域(尤其是网络图)神经网络的各种创造性设计。随着这些图神经网络(GNN)在静态设置中的成功,我们进一步考虑图动态演化的实际场景。现有的方法通常利用节点嵌入,并使用递归神经网络(一般为 RNN)来调节嵌入和学习时间动态。这些方法需要了解一个节点的全部时间跨度(原创 2020-11-04 14:24:39 · 8531 阅读 · 10 评论 -
机器学习中的正则化
机器学习中的正则化以多核支持向量机说起以上函数为一个基于多核的支持向量机的目标函数 d是多核函数的参数 r(d)为正则项。根据今天深度机器学习课程所介绍,正则项的目的是尽量减小参数的数值大小,从而避免过拟合,即:以上目标函数可以直观表述为:其中,可以通过多项式近似法则得到:下面这张图展示了不同的拟合效果模型的分类能力正则化的思考过程模型对该数据的拟合能力越强,一定程度上反映了模型对特征的提取程度,图3分类全部是正确的,但是明显出现了过拟合,其实用性很低。同时,学习的时候需要更多的参原创 2020-10-12 22:38:50 · 176 阅读 · 0 评论 -
Graph Neural Networks for social Recommendation基于图神经网络的社交推荐系统 by JD.com WWW会议
Graph Neural Networks for social RecommendationAbstract传统社交推荐系统中的数据可以表示为用户-用户社交图(user-user social graph)和用户-项目图(user-item graph),本文针对此提出应用GNN提高推荐的效果并解决了如下挑战:1、用户-项目图对交互及用户意见的编码;2、社会关系异质性的表示;3、两种图形的综合考虑。在本文中,提出了一个新颖的社交推荐图神经网络框架(GraphRec)。另外,作者提供了一种建模方法来联原创 2020-10-07 16:24:59 · 2068 阅读 · 5 评论 -
深度神经网络模型(DNN)与前向传播算法
原文见:深度神经网络模型(DNN)与前向传播算法这里具体写一下摘要及感想1、DNN(深度神经网络)简介:从DNN按不同层的位置划分,DNN内部的神经网络层可以分为三类,输入层,隐藏层和输出层,如下图示例,一般来说第一层是输入层,最后一层是输出层,而中间的层数都是隐藏层。输入层的每个神经元输入样本数据x的一维层与层之间是全连接的,也就是说,第iii层的任意一个神经元一定与第i+1i+1i+1层的任意一个神经元相连。虽然DNN看起来很复杂,但是从小的局部模型来说,还是和感知机一样,即一个线性关系原创 2020-09-05 09:09:37 · 498 阅读 · 0 评论 -
神经网络实战中的一些基础概念(迭代、批量batch、偏移项、标准化数据)
1、迭代理解迭代,只需要知道乘法表或者一个计算器就可以了。迭代是 batch 需要完成一个 epoch 的次数。记住:在一个 epoch 中,batch 数和迭代数是相等的。比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch,那么完成一个 epoch 需要 4 个 iteration。2、批量批量,即Batch,是深度学习中的一个重要概念。批量通常是指两个不同的概念——如果对应的是模型训练方法,那么批量指的是将所有数据处理完以后一次性更新权重或者参数原创 2020-09-05 08:52:51 · 1391 阅读 · 0 评论 -
图卷积神经网络GCN-在交通预测中考虑网络拓扑 STGCN-A Deep Learning Framework for Traffic
论文:Spatio-Temporal Graph Convolutional Networks A Deep Learning Frameworkfor Traffic出处:IJCAI 2018大体思路:使用Kipf & Welling2017的近似谱图卷积得到的图卷积作为空间上的卷积操作,时间上使用一维卷积对所有顶点进行卷积,两者交替进行,组成了时空卷积块,在加州PeMS和北京市的两个数据集上做了验证。但是图的构建方法并不是基于实际路网,而是通过数学方法构建了一个基于距离关系的网络。原文原创 2020-08-29 11:03:56 · 1134 阅读 · 0 评论 -
基于频谱的GCN 图卷积神经网络数学原理
以下内容多为个人理解,如有错误感谢批评指正。参考链接:如何理解GCN?知乎回答:从热传导模型到GCN从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)GCN问题本质图中的每个结点无时无刻不因为邻居和更远的点的影响而在改变着自己的状态直到最终的平衡,关系越亲近的邻居影响越大。GCN的实质是在一张Graph Network中特征(Feature)和消息(Message)中的流动和传播!研究GCN的原因CNN无法处理非欧几里得结构数据,因为此种结构没有平移不变性,卷原创 2020-08-19 19:26:01 · 1959 阅读 · 0 评论 -
机器学习中的GCN原理
Deep Learning 中的GCN**Deep learning中的Convoulution就是要设计含有trainable共享参数的kernel,从(f∗h)G=U(λ1...λn)UTf(f*h)_G=U\begin{pmatrix}\lambda_1 & & \\ &...& \\ & &\lambda_n\原创 2020-08-20 18:27:01 · 849 阅读 · 0 评论