GNN
文章平均质量分 71
0x3fffffff
这个作者很懒,什么都没留下…
展开
-
kgTransformer复现踩过的坑
复现kgTransformer原创 2022-10-11 11:28:12 · 927 阅读 · 1 评论 -
Graphormer复现碎碎念
一:简介Graphormer:https://github.com/microsoft/Graphormerhttps://github.com/microsoft/Graphormer二、安装使用./install.sh安装,前面是pip直接安装whl依赖,而fairseq该工具还没有集成自whl,因此是在fairseq目录下复制fairseq的git,再编译集成。我在使用下面的安装命令时(用于安装fairseq)报错了,报错为:option --use-feature: invalid原创 2022-05-23 18:11:43 · 2458 阅读 · 16 评论 -
知识图谱的几个经典模型:TransE、Trans R、ComplEx、ConvKB
:::info💡 这几个模型都是KG表示的经典模型,关于如何对三元组建模Embedding。以下第一个表格是关于各类建模方法中,关系是否能满足一些特性进行的汇总。:::对称性:例如朋友关系。如果有h(r , t),一定有h(t , r);反对称性:例如购买关系与出售关系。如果有h1(r, t) ,一定有h2(t ,r); 【h1和 h2是相反方向的一对向量】传递性:例如亲属关系,父亲的父亲是爷爷。如果有h1(r , t) 和h2(t, y),一定有h3(r , y)一对N:例如教学关系,一个老原创 2022-03-23 17:23:38 · 8047 阅读 · 0 评论 -
炼丹炸锅炉
神经网络炼丹炸锅炉的血泪史:1、segmentation fault背景:作者在学习bert,去git下载了google的原始代码,数据集也是自带的CoLA。模型参数为:12层*768隐藏层*12完整错误如下:更重要的是前面信息:windows fatal exception:access violation,访问非法。后来发现,是export变量时候,路径没有设置正确(windows下的/\路径不大对劲),因此训练时无法打开正确的文件/保存文件到正确目录,也就无法开始训练。2、查.原创 2021-12-07 10:17:04 · 143 阅读 · 0 评论 -
神经网络与深度学习入门笔记
本笔记是来自观看吴恩达的神经网络学习过程中的随笔。1、神经网络导论:给定输入和输出,由机器自己决定如何理解这些数据,并自行组织数据之间的关系。 几种有监督学习的知名神经网络sigmod函数:接近两端时学习率过低;如果将该激活函数换成Relu函数,则在x->+∞时学习率不会趋近于0。2、 神经网络基础 Binary Classification&向量表示cost function:非...原创 2021-09-12 23:33:58 · 285 阅读 · 0 评论 -
GAT入门
1、GAT的优点区别于GNN采用拉普拉斯矩阵的特征基向量作为卷积内核,GAT是一种根据空间结构进行卷积的算法。GAT会在动态图的表现优于GAT,因为拉普拉斯矩阵的计算相对复杂。2、GAT代码分成:Transductive learning(直推式学习)和Inductive learing(归纳式学习) 代码一共是两层:具体指标则是分类准确率; cora大概在80%左右;test loss:1.8 ...原创 2021-09-09 21:58:01 · 777 阅读 · 0 评论 -
GNN(一):原理
1 数学原理1.1 傅里叶变换与卷积操作 傅里叶变换是将一组信号分解为若干个正弦信号,即将空域信号转为频域信号。如果空域和频域不好理解,用图像举例,可以理解为把像素信号转为信号频率。 傅里叶变换公式为 有时域卷积定理,*代表卷积,,两信号在时域的卷积积分等于频域上两信号经傅里叶变化的相乘。 1.2 拉普拉斯算子 拉普拉斯算子: 拉普拉斯算子是二阶微分在离散点的推广。在图像领域,模糊是通过积分和...原创 2021-07-29 18:49:29 · 1564 阅读 · 0 评论