weixin_40248634的博客_CSDN博客-教程,学习笔记,图神经网络领域博主

原创 SoftEdge: Regularizing Graph Classification with Random Soft Edges笔记

SoftEdge: Regularizing Graph Classification with Random Soft Edges本文提出了一种新的dropedge 的方式，不是直接丢掉边，而是对边进行加权为之 Soft Edges。全篇都在解释为啥这个方法有用，文章提出了样本碰撞问题（sample collision issue），也就是非常相似结构的但是标签不同的graph，会被映射到相同embedddings 空间的问题，这个问题其实在GNN 上一直存在，特别是1-WL test 表明是不是

2022-05-04 12:48:28 51

原创 ICML21-Graph Contrastive Learning Automated笔记

Graph Contrastive Learning AutomatedGraphCL 的 contrastive lossJOAOtow-level 的优化1. 第（4）式为：2. 第（9）式为：增广感知multi-projection heads:GraphCL 的 contrastive lossJOAOtow-level 的优化利用对抗的思想，进行两步优化，第一步更新encoder 的权重，第二步更新view generater 的权重。1. 第（4）式为：2. 第（9）式为：

2022-05-04 09:16:12 61

原创 WWW21-Graph Contrastive Learning with Adaptive Augmentation 笔记

ICML21-workshop Deep Graph Contrastive Representation Learning这篇文章是做无监督图表示学习的，使用了node-level 上的contrastive loss这个contrastive loss 就是在负样本的设计上多了inter-view 和 intra-view, 其他跟普通的contrastive 方法一样，也有GNN encoder , 有projection header。...

2022-05-03 11:58:37 143

原创 Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks 笔记

AAAI2020-Measuring and Relieving the Over-smoothing Problem for Graph NeuralNetworks from the Topological View这篇文章是解决over-smoothing 问题的，但是其提出了一种通过adaptive 调整edge 的方式，可以看成是一种数据增广的方法，including add_edge and remove_edge...

2022-05-02 21:40:00 93

原创 GraphCL: Graph Contrastive Learning with Augmentations笔记

Graph Contrastive Learning with Augmentationscontrastive learning algorithmpretraining model for molecular proporty predition使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,主要贡献是提出4种不同的augmentations.

2022-05-02 21:32:16 102

原创 Pytorch 中的torch.einsum 求cos 相似度矩阵

einsum 计算consine similarity for contrastive learningconsine similarity 定义Sij=XiTYj/∥Xi∥2∥Yj∥2S_{ij}=X_i^TY_j/\|X_i\|_2\|Y_j\|_2Sij=XiTYj/∥Xi∥2∥Yj∥2X 和Y为embedding 矩阵:bz×hiden_dimbz\times hiden\_dimbz×hiden_dimXiTYj=∑kXikYjkX_i^TY_j= \sum_k X

2022-04-28 16:13:43 92

原创 WL-test (GIN)

可以看这个写的很好的博客

2022-04-26 15:53:07 30

原创二分查找模板

def two_part(nums,i,n,target): l=i h=n while l<=h:# 判断条件最好不要用相加后的结果，应该用target - nums[i] 跟 nums[j]比较，这样保证不会溢出。二分查找，(left + right) / 2 可以用left + ((rigth - left) >> 1))代替 mid = (l+h)//2 if nums[mid] == target:

2022-04-13 11:24:47 11

原创 python栈，队列, deque，dict等数据结构

python 数据结构list 实现队列栈collections模块实现栈和队列队列，栈都可以直接使用deque 来实现。dequelist 实现使用 list 列表模拟队列功能的实现方法是，定义一个 list 变量，存入数据时使用 insert() 方法，设置其第一个参数为 0，即表示每次都从最前面插入数据；读取数据时，使用 pop() 方法，即将队列的最后一个元素弹出。如此 list 列表中数据的存取顺序就符合“先进先出”的特点。实现代码如下：队列通过 insert() 方法实现，这种方法效

2022-04-06 21:02:31 1058

原创 latex 提交到arxiv

reference.bib = main.tex主文件和参考文献名字得相同。reference.bib-> main.bibcleveref虽然把参考文献的引用搞定了，但我还是遇到了所有用 cleveref 宏包 \cref 命令的引用（公式、图表）全部都还是？？。根据http://tex.stackexchange.com/questions/276801/how-does-one-use-cleveref-in-an-arxiv-submission，原来问题出在 cleveref 必须在

2022-04-01 13:00:29 59

原创动态规划题

讲解：https://zhuanlan.zhihu.com/p/91582909

2022-02-09 21:53:10 106

原创函数，泛函，算子

函数是从数到数的映射。泛函是从函数到数的映射。算子是从函数到函数的映射。https://www.cnblogs.com/-mr-y/p/7850787.html

2021-12-14 10:18:58 288

原创 roc_auc_score sigmoid

sklearn中使用roc_auc_score()函数计算auc。group true得是{0,1}n\{0,1\}^n{0,1}n, pred 理论上得是每个元素都是概率。用于多标签分类的话是得用sigmoid 激活后的（0，1）之间的概率值。但是sklearn是可以直接没有经过sigmoid 激活后的值作为输入的，结果跟有sigmoid 是一样的roc_auc_score(gt,torch.sigmoid(pred))==roc_auc_score(gt,pred)...

2021-11-03 10:09:29 93

原创 pytorch batch sparse tensor (构建稀疏batch)

直接通过scipy sparse矩阵转化这个方法的缺点是不能构建 batch 的sparse tensor def sparse_mx_to_torch_sparse_tensor(sparse_mx): """Convert a scipy sparse matrix to a torch sparse tensor.""" # sparse_mx = sp.coo_matrix(sparse_mx) sparse_mx1 = sparse_mx.to

2021-10-31 11:00:33 160 1

原创 Categorical Distribution(分类分布)

将一个小球放入两个桶，记变量x 为第一个桶里面有的小球个数，那么只有 0 个或者 1 个，所以是服从伯努利分布；将 n 个小球放入两个桶，记变量 x 为第一个桶里面的小球个数，那么最少可能有 0 个，最多可能有 n 个，所以服从二项分布；将一个小球放入 k 个桶，记变量 x 为 k 个桶内的小球个数，所以是一个向量，并且是One-hot的形式，因为这个小球只能在一个桶里面，所以是服从Categorical分布；将 n 个小球放入 k 个桶，记变量 x 为 k 个桶内的小球个数，是一个向量，并且向量元.

2021-10-27 21:04:16 1092

原创英语-科技论文写作中国人常犯的错误

文章目录喜欢将目的（to），原因(for)，时间(when)，地点(based on)等放在前面，然后再说自己做了什么。如to+目的，we do sth.Such as 和 etc.（and so on）是不能同时使用的这些词不用加复数这些词组只需要用一个词即可以，一起用累赘。不能用缩写开头，如 Thm. 2, Lem. 1. 不能用how to 开头避免使用 'Obviously', ‘that is to say’ , ‘namely’，不用 too 结尾。喜欢将目的（to），原因(for)，时

2021-10-25 16:36:26 67

原创多元复合函数求导

https://zhuanlan.zhihu.com/p/61585348

2021-10-11 20:59:56 21

原创离散测度（optimal transport）

在optimal transport 中经常会将几何空间的概率表示成discrete measures , 这种形式的概率可以这么理解。实数集下，测度本身就是一个函数，其能将实数集的子集 E 映射到非负实数 m(E) ，并称这个数为集合 E 的测度，通常定义为集合的长度。而离散测度同样是一个函数Ps:S→RP_s:S\to \mathbb RPs:S→R，当输入第i个点xsi∈{xs(j);j=1,2,...,ns}x_s^{i}\in\{x_s^{(j)}; j=1,2,...,n_s\}xsi

2021-09-11 22:23:59 245

原创 shell if 条件字符串判断

注意：比较运算符的两边都有空格分隔，同时要注意比较运算符两边的变量是否可能为空，比如下面这个例子：双引号会将$model 识别成变量，而单引号不会#!/bin/bash#文件名:test.shif [ $1 == 'hello' ];then echo "yes"elif [ $1 == 'no' ];then echo "no"fi应该加入 else nothing 判断#!/bin/bash#文件名:test.sh if [ "$1" == 'yes' ]; t

2021-09-10 10:40:59 34

原创 Pycharm debug 变量值显示不出，或者加载不出

File -> settings -> build,execution,deployment -> python Debugger , 勾选 Gevent compatible即可加载出中间变量

2021-08-31 10:58:04 1108 1

原创度量空间，赋范空间

无论是度量（distance）还是范数（norm），都是企图将任意的一个集合，通过定义关系，进而降维到我们熟知的实数空间进行研究。度量空间给定一个集合，原本是无序且元素之间是没有关系的，而度量（距离）给其定义了2元关系。如果对于集合的元素，定义任何两个元素之间有距离，那么这个集合就是度量空间。这个距离的具体定义是：距离是一个实函数，其自变量就是集合中的任意两个元素，那么这个实函数定义的时候并不给出具体公式，而是给出实函数满足的性质，就是非负性（两个元素相等的时候，距离为0），对称性，三角不等式

2021-08-25 12:05:15 208

原创 rebuttal

一些常用句式：https://zhuanlan.zhihu.com/p/104298923https://www.cxyzjd.com/article/amusi1994/112792937https://www.zhihu.com/question/32055996AC信：https://zhuanlan.zhihu.com/p/353761920https://proceedings.neurips.cc/paper/2020/file/217eedd1ba8c592db97d0dbe54c

2021-08-11 15:44:52 46

原创 pytorch horovod 进行分布式训练

一、什么是分布式1、模型并行把复杂的神经网络进行拆分，分布在GPU里面进行训练，让每个GPU同步进行计算。这个方法通常用在模型比较复杂的情况下，但效率会有折扣。2、数据并行即让每个机器里都有一个完整模型，然后把数据切分成n块，把n块分发给每个计算单元，每个计算单元独自计算出自己的梯度。同时每个计算单元的梯度会进行平均、同步，同步后的梯度可以在每个节点独立去让它修正模型，整个过程结束后每个节点会得到同样的模型。这个方法可以让能够处理的数据量增加，变成了原来的n倍。实例代码https://githu

2021-07-27 10:28:18 196

原创 np.asarray()可将不同大小的list转成array的形式

>>> np.asarray([[1,2,3],[1,2,3,3]])array([list([1, 2, 3]), list([1, 2, 3, 3])], dtype=object)>>> np.asarray([[1,2,3],[1,2,3]])array([[1, 2, 3], [1, 2, 3]])

2021-07-23 11:11:49 117

原创英语-for which

for which 解释1)定语从句里面，由which引导的定语从句，介词提前。②for which可以翻译成为了……目的Tomorrow I will bring here a magazine (that/which) you asked for.= Tomorrow I will bring here a magazine for which you asked.2)一些固定搭配，得具体情况具体分析。③Ten years of hard work changed her greatly,

2021-07-13 14:37:41 241

原创 Pycharm 自动同步到服务器失效

通过interpreter 的配置已经配置好远程，但是还是出现问题：No files or folders found to process。原因是服务器端的配置路径没弄好。解决方案如下：选择Tools–Deployment–Configuration，在弹出的窗口中选择Mappings，在Deployment path on server一栏填上你的本地文件存储在服务器中的路径，如下图所示:https://blog.csdn.net/Flying_sfeng/article/details/806

2021-07-12 19:47:22 276

原创 dssp 安装

Linux 安装通过conda 命令安装，conda install -c ostrokach dssp安装后得到的是mkdssp;which mkdssp~/anaconda2/bin/mkdsspcd ~/anaconda2/bin/mkdsspcp mkdssp dssp参考：http://wap.sciencenet.cn/blog-950202-1088148.html?mobile=1

2021-06-28 10:42:18 791

原创 Mac pycharm 快捷键以及键盘设置

Pycharm常用快捷键（Mac）Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ backspace命令：command + 左键简介及代码定义command + d 复制当前行到下一行command + y 删除当前行command + / 添加注释，再按一次取消注释（适用于多行注释）command + f 文件内查找command+ r 文件内替换command + shift + enter

2021-06-16 11:29:23 187

原创变分推断（variational inference）

变分推断对观测值的边缘分布进行分解分解概率分布把所有潜在变量和参数组成的集合记作Z\mathbf ZZ.观测变量的集合记作X\mathbf XX.找到后验分布p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X)的近似分布q(Z)q(\mathbf Z)q(Z), 用q(Z)q(\mathbf Z)q(Z)来逼近p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X). 逼近的度量就是KL 散度。通过Evidence lower Bound(ELOB) 目标函数的最小化来间

2021-06-13 17:40:42 49

空空如也

空空如也

空空如也