- 博客(36)
- 收藏
- 关注
RSS订阅原创 Graphormer复现碎碎念
一：简介Graphormer：https://github.com/microsoft/Graphormerhttps://github.com/microsoft/Graphormer二、安装使用./install.sh安装，前面是pip直接安装whl依赖，而fairseq该工具还没有集成自whl，因此是在fairseq目录下复制fairseq的git，再编译集成。我在使用下面的安装命令时（用于安装fairseq）报错了，报错为：option --use-feature: invalid
2022-05-23 18:11:43
2371
16
原创 GraphGym使用碎碎念
GraphGym是一个非常适合初学者到高阶学者研究GNN的开源组件，在这里对写出GrapyGym并开源的尤佳轩大佬表达感谢和敬佩~太强了1.简介本节内容主要来源于snap官网和GraphGym的论文。GraphGym主要在探讨并解决三个问题，一是GNN怎么设计；二是探讨这些用GNN的不同的task之间是否具有一定的相似程度，进而高效的进行方法移植；三是如何评估一个GNN模型。1.1 GNN design space设计GNN主要有三个角度需要考虑：一是层内的GNN设计，而是层与层之间的G
2022-05-23 17:42:10
1093
2
原创 知识图谱的几个经典模型：TransE、Trans R、ComplEx、ConvKB
:::info💡 这几个模型都是KG表示的经典模型，关于如何对三元组建模Embedding。以下第一个表格是关于各类建模方法中，关系是否能满足一些特性进行的汇总。:::对称性：例如朋友关系。如果有h(r , t)，一定有h(t , r);反对称性：例如购买关系与出售关系。如果有h1(r, t) ,一定有h2(t ,r); 【h1和 h2是相反方向的一对向量】传递性：例如亲属关系，父亲的父亲是爷爷。如果有h1(r , t) 和h2(t, y),一定有h3(r , y)一对N：例如教学关系，一个老
2022-03-23 17:23:38
7886
原创 pyg与graphgym
一、配置问题：我用的显卡是ti3090，为驱动算力，cuda用11.0软件环境是torch1.8.0，此时注意，graphgym需要安装版本为0.3.0，否则会由于版本过高，导致各种出错。如果要使用pyg，那么会容易遇到一个报错： File "d:\Programfile\graphgym\run\main_pyg.py", line 10, in <module> from graphgym.loader_pyg import create_dataset, crea...
2022-03-22 13:43:03
1706
原创 170之配置新服务器的显卡
配置前：显示nvidia-smi没驱动和nvcc --version没命令。1、先自动下载的cuda-tool-kit； sudo安装了一下结果：nvcc有命令了，但nvidia-smi仍然没有驱动2、去cuda官网，按显卡3900下载驱动文件，开始安装2.1报错：The Nouveau kernel driver is currently in use by your system. This driver is incompatible with the NVIDIA driver, a
2022-02-23 17:27:22
1084
原创 做图的人是如何看待GNN的（二）：Node Embedding
一、导论Node Embedding是图表示学习的范畴，是为了自动学习feature，好为下游ML任务提供支持。为使得Node Embedding实现高度的任务无关性，有以下几种解决办法。二、Encoder-Decoder三、Random Walk
2022-02-03 00:26:01
1217
原创 做图的人是如何看待GNN的（一）：feature 提取
一、概述如果说神经网络是把定向输入经过黑盒变换，转化为定向输出，例如CNN是把图像转化为标签（物体识别与检测）、RNN把提取好的文本转化为标签/概率（NER/分类），那图神经网络就是把图转为标签。图卷积神经网络的输出，依照组成图的元素，可以分为：node-level、link-level、subgraph-level和graph-level。node-level的任务，主要对节点进行判断、区分，例如，找节点的label。但区别于CNN和RNN的输入...
2022-01-27 17:12:02
2249
原创 BERT学习
bert通过对语料进行无监督学习，该模型自动学习各种信息，。一：模型简介1、结构： bert是个有12层encoder组成的结构，只有encoder，没有decoder。2、无监督语料MLM-AR/AE AR：自回归模型（通过概率推导）；AE：自编码模型（通过掩码）。 AR：P（我爱吃饭） = P（我）P（爱|我）P（吃|我爱）P（饭|我爱吃） AE：P（我爱吃饭|我爱mask饭） = P（mask=吃|我爱饭）...
2021-12-22 23:17:22
1328
原创 技巧：如何用rand7实现rand10
把7看成一个筛子。这等于掷出两个筛子，将筛子的两个数字看成一个7进制的数字的两位，得到range ：00~66（7进制），一共49个数字。将0~39这40个数字，分成10份，对10取余即可。通用方法：如何用数字A实现B；用logA B上取整计算数字位数，得到整体数字取值范围。范围对B做整除，得到有效数字范围。有效数字按B份等分即为所求。...
2021-12-09 23:36:34
98
原创 炼丹炸锅炉
神经网络炼丹炸锅炉的血泪史：1、segmentation fault背景：作者在学习bert，去git下载了google的原始代码，数据集也是自带的CoLA。模型参数为：12层*768隐藏层*12完整错误如下：更重要的是前面信息：windows fatal exception:access violation，访问非法。后来发现，是export变量时候，路径没有设置正确（windows下的/\路径不大对劲），因此训练时无法打开正确的文件/保存文件到正确目录，也就无法开始训练。2、查.
2021-12-07 10:17:04
130
原创 c++的一些小技巧
1、关于继承的小技巧继承是c++的特性，它赋予了多重特性。而在一些特殊情况时，一定要对此进行限制。有一些关键字可以做到：class 类名 = final ;//指定这个类无法继承类名() = default ; //指定这个构造函数是默认构造函数类名(类名 &a) = delete ; //指定这个拷贝构造函数无法使用，想不到delete还有这种妙用explict 类名(标准类型 & a) //显式指定构造函数，主要是非pod类型需要显式类型转换。2、编程时可以用ty
2021-11-14 23:59:05
838
原创 预编译&&编译动作
1、预编译阶段有哪些动作？ 预编译阶段主要完成：在对code进行重塑，把源码塑造成另一种形式。有可能是替换，例如define，有可能是开关，控制某个头文件或者某段代码是否显示。 例如，#ifdef、endif用来控制一段的开启或者跨平台的服务，用#if 0 #endif调试一段code的情况。#define、typedef用来直接替换某个数据类型、某个类似函数。#include用于某个头文件包含，值得一提的是，可以把大型常量数组存储在inc文件中，再include该文件。...
2021-11-11 23:42:21
403
原创 踩雷（史）屎
这都是我的辛酸泪。对接的同事能不能靠谱点！！这个pod有四个容器（web-app-postgres）。流程是，同事email给我，我上传网址。1：镜像没有打tag；2：拷贝时候发现tar包丢失文件；3：更新时，更新前端容器web，更新交互容器app，但没更新数据库postgres，就在前端一直无法登录，后来发现是数据库少字段造成的；4：给错容器版本；...
2021-11-05 16:22:02
73
原创 二叉树与遍历
1、树的遍历及其变形用后序遍历做得更好bool IsBalanced(root) if(root == NULL) return true if(LastOrder(root) == -1) return falsereturn trueint LastOrder(root)//这里，LastOrder返回的所有值，-1是一种状态，其他的值都为树高度。因此，-1是需要传递的 if(root == NU...
2021-10-26 21:38:48
65
原创 推荐系统入门
一 论文1、paper：Amazon.com:Recommendations:Item-to-Item Collaborative Filtering文章归纳了2003年为止的3种推荐系统，并提出一种新的推荐系统3种推荐系统对比 名称 特点 优劣点 协同过滤 比较用户与用户之间的相似程度。即：A = [Item0,0,……,0,Itemk],B = [Item0,1,……,0,Itemn]，如果A和B的余弦值较大，认为A和B相似，所以会把A买过的商品推荐给B 随规.
2021-10-21 22:22:00
85
原创 图的常见衡量指标及算法调研
最近调研了一些图算法，简单做一个汇总。算法核心 图算法分类 算法名称/指标 详细描述 算法包含关系 点 基础图算法 Clossness 衡量点是否位于每个图的中心，即该点到其他节点的最短路径（SSSP）的平均长度 SSSP 点 基础图算法 Betweenness 衡量某点、边的重要程度，即对所有的最短路径（sssp），找重合点、边 SSSP 点 基础图算法 PageRank 节点的重要程度 -
2021-10-21 19:16:43
840
原创 剑指刷题总结
一、简单版1、栈和队列：用两个栈实现队列、包含min函数的栈（即用第二个栈单独记录当前长度的min）2、链表：从尾到头打印链表、反转链表、复杂链表复制（映射，或者在每个链表节点N的后面＋上N`）；3、字符串：替换“ ”为%20；字符串拼接...
2021-10-09 16:44:46
70
原创 图计算：图表示学习
一：简介图表示学习：期待自动提取结构特征。即，把图的邻接矩阵、点信息等信息转为一个低维向量。其输入和输出见下图：二：应用应用：节点分类、链路预测、社区检测、图重建、可视化、网络相似性节点分类可以根据ｌａｂｅｌ是否给全数据，做成半监督ｏｒ有监督学习。 边预测（可视为无监督，个人不太认同，因为算法的输出是有没有边ｏｒ有边的概率，是比较确定的工作）：预测某两个点直接是否存在边三：表现为低维向量...
2021-09-27 21:58:05
197
原创 lt刷题-堆&优先队列
1、堆的建立过程：heapy()2、步骤1：用一个数组记录当前每个index对应的bucket/vat值，每次从数组中取出最大的（max_element），将该index的bucket+1，再把新的值存入数组。计算当前组的count+bucket/val(向上取整)。步骤1重复若干次，每次结果放入一个优先队列，从优先队列找最小值。...
2021-09-13 22:55:03
61
原创 神经网络与深度学习入门笔记
本笔记是来自观看吴恩达的神经网络学习过程中的随笔。1、神经网络导论：给定输入和输出，由机器自己决定如何理解这些数据，并自行组织数据之间的关系。 几种有监督学习的知名神经网络sigmod函数：接近两端时学习率过低；如果将该激活函数换成Relu函数，则在x->+∞时学习率不会趋近于0。2、 神经网络基础 Binary Classification&向量表示cost function：非...
2021-09-12 23:33:58
251
原创 GAT入门
1、GAT的优点区别于GNN采用拉普拉斯矩阵的特征基向量作为卷积内核，GAT是一种根据空间结构进行卷积的算法。GAT会在动态图的表现优于GAT，因为拉普拉斯矩阵的计算相对复杂。2、GAT代码分成：Transductive learning（直推式学习）和Inductive learing（归纳式学习） 代码一共是两层：具体指标则是分类准确率； cora大概在80%左右；test loss：1.8 ...
2021-09-09 21:58:01
764
原创 图计算：社区发现算法
1、什么是社区 社区是一种局部性结构，该局部性结构内部连接紧密，而不同的局部性结构之间连接稀疏，这种局部性结构是社区。 主要应用：好友推荐、广告推送 2、...
2021-09-08 20:42:16
2534
原创 编程出错问题：lc
1、Line 1034: Char 9: runtime error: reference binding to null pointer of type 'int' (stl_vector.h)容器内出现问题，即vector长度为4但需要访问vector[5]2、数组去重sort(a.begin(),a.end())a.erase(unique(a.begin(),a.end()),a.end())...
2021-09-01 17:54:09
443
原创 配置环境出错问题
1、python多版本指定python3检查python3的目录fanxiaoxuan@nlp:~$ which python3 /usr/local/bin/python3然后使用该输出的返回来查看它当前指向的内容fanxiaoxuan@nlp:~$ ls -la $(which python3)lrwxrwxrwx 1 root root 9 Aug 4 16:00 /usr/local/bin/python3 -> python3.7用python3正确的替换错误
2021-08-31 17:16:32
106
原创 Docker和K8s
1、docker是什么docker包含三部分：镜像、容器和仓库。容器打包好某环境，包括操作系统、库、资源等配置；镜像是容器的备份，不含任何程序的一个环境配置copy；仓库存储若干容器。2、docker的好处最直接的好处：docker可以让某容器在A机器配置好，而后在B机器运行。尤其是对于一些保密单位，可以在自己机器配好环境，导出为tar文件，而后在内网机运行。...
2021-08-27 15:56:17
250
原创 贪心的策略
贪心的本质问题：局部最优和全局最优的关系。每次记录最小、次小，如果还有比他们大的，则为真for e:nums if mins> e min = e else if medium > e medium = e else return true按区间终点排序。sort(nums) ...
2021-08-17 11:02:52
70
原创 图生成模型
1、图（网络结构）的参数 1）P(k) =，代表Degree为k的节点概率分布。在真实图中，P(k)满足幂律分布。 2）路径参数（连通图）：Diamter：d =,任意两点最短路径的最大值为直径 Average path length：，所有最短路径*2/degree 3）距离系数（邻居节点的紧密程度） Ei：vi点的neighbor有多少相连的边...
2021-08-09 00:08:03
808
原创 编程出错问题-算法方法
最好不要用for(i = 0; i <a.size();i++)，而用for(i = 0 ; i <size;i++),因为a.size()，对于数据结构来说，运行过程中可能会改变大小，比如栈会出栈入栈。所以用变量存储初始大小
2021-08-01 02:33:22
275
原创 GNN（一）：原理
1 数学原理1.1 傅里叶变换与卷积操作 傅里叶变换是将一组信号分解为若干个正弦信号，即将空域信号转为频域信号。如果空域和频域不好理解，用图像举例，可以理解为把像素信号转为信号频率。 傅里叶变换公式为 有时域卷积定理，*代表卷积，，两信号在时域的卷积积分等于频域上两信号经傅里叶变化的相乘。 1.2 拉普拉斯算子 拉普拉斯算子： 拉普拉斯算子是二阶微分在离散点的推广。在图像领域，模糊是通过积分和...
2021-07-29 18:49:29
1539
原创 lt-动态规划
动态规划的重点是：1）找状态转移方程；2）计算边界情况。70：a[n] = a[n-1]+a[n-2]; a[1] = 1,a[2] = 2;98:a[n] = max(a[n-2] + nums[n],a[n-1]),即每次计算都尽量把原来较大的部分保留。120:arr[i][0] = arr[i-1][0]+triangle[i][0];arr[i][j] = min(arr[i-1][j-1],arr[i-1][j]) + triangle[i][j];arr...
2021-07-25 22:31:06
121
原创 c++八股文
1、声明和定义的区别答：声明（declare）未必会申请内存空间，定义会申请内存空间；对于普通的常规类型，比如int a，声明即定义，但A a 和A a = new A()有明显区别；2、指针和引用的区别答：指针是真的开辟内存空间存储地址，引用是原变量的别名。3、sizeof是在编译时取值还是在运行时取值？对于支持查看动态数组的c99及以后，是运行时取值；其他为编译时取值。4、程序运行内存分配代码区：二进制代码，不可更改常量区：const修饰的字符。静态区：静态变量和全局
2021-07-23 17:10:40
1047
原创 BFS/DFS
lt733:岛屿渲染面积方法：从起点开始BFS遍历补颜色。注意判断先每个index的上下界。lt695：岛屿面积方法：仍然是以1开始做BFS遍历，遍历时将找到的顶点置为0即可。注意在push入栈的时候，size已经等于1，grid[起点]已经置为0了。lt617：...
2021-07-20 21:45:33
73
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人