自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(115)
  • 收藏
  • 关注

原创 SoftEdge: Regularizing Graph Classification with Random Soft Edges笔记

SoftEdge: Regularizing Graph Classification with Random Soft Edges本文提出了一种新的dropedge 的方式,不是直接丢掉边,而是对边进行加权 为之 Soft Edges。全篇都在解释为啥这个方法有用,文章提出了样本碰撞问题(sample collision issue), 也就是非常相似结构的但是标签不同的graph,会被映射到相同embedddings 空间的问题,这个问题其实在GNN 上一直存在,特别是1-WL test 表明是不是

2022-05-04 12:48:28 51

原创 ICML21-Graph Contrastive Learning Automated笔记

Graph Contrastive Learning AutomatedGraphCL 的 contrastive lossJOAOtow-level 的优化1. 第(4)式为:2. 第(9)式为:增广感知multi-projection heads:GraphCL 的 contrastive lossJOAOtow-level 的优化利用对抗的思想,进行两步优化,第一步更新encoder 的权重,第二步更新view generater 的权重。1. 第(4)式为:2. 第(9)式为:

2022-05-04 09:16:12 61

原创 WWW21-Graph Contrastive Learning with Adaptive Augmentation 笔记

ICML21-workshop Deep Graph Contrastive Representation Learning这篇文章是做无监督图表示学习的,使用了node-level 上的contrastive loss这个contrastive loss 就是在负样本的设计上多了inter-view 和 intra-view, 其他跟普通的contrastive 方法一样,也有GNN encoder , 有projection header。...

2022-05-03 11:58:37 143

原创 Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks 笔记

AAAI2020-Measuring and Relieving the Over-smoothing Problem for Graph NeuralNetworks from the Topological View这篇文章是解决over-smoothing 问题的, 但是其提出了一种通过adaptive 调整edge 的方式,可以看成是一种数据增广的方法,including add_edge and remove_edge...

2022-05-02 21:40:00 93

原创 GraphCL: Graph Contrastive Learning with Augmentations笔记

Graph Contrastive Learning with Augmentationscontrastive learning algorithmpretraining model for molecular proporty predition使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,主要贡献是提出4种不同的augmentations.

2022-05-02 21:32:16 102

原创 Pytorch 中的torch.einsum 求cos 相似度矩阵

einsum 计算consine similarity for contrastive learningconsine similarity 定义Sij=XiTYj/∥Xi∥2∥Yj∥2S_{ij}=X_i^TY_j/\|X_i\|_2\|Y_j\|_2Sij​=XiT​Yj​/∥Xi​∥2​∥Yj​∥2​X 和Y为embedding 矩阵:bz×hiden_dimbz\times hiden\_dimbz×hiden_dimXiTYj=∑kXikYjkX_i^TY_j= \sum_k X

2022-04-28 16:13:43 92

原创 WL-test (GIN)

可以看这个写的很好的博客

2022-04-26 15:53:07 30

原创 二分查找模板

def two_part(nums,i,n,target): l=i h=n while l<=h:# 判断条件最好不要用相加后的结果,应该用target - nums[i] 跟 nums[j]比较,这样保证不会溢出。二分查找,(left + right) / 2 可以用left + ((rigth - left) >> 1))代替 mid = (l+h)//2 if nums[mid] == target:

2022-04-13 11:24:47 11

原创 python栈,队列, deque,dict等数据结构

python 数据结构list 实现队列栈collections模块实现栈和队列队列,栈 都可以直接使用deque 来实现。dequelist 实现使用 list 列表模拟队列功能的实现方法是,定义一个 list 变量,存入数据时使用 insert() 方法,设置其第一个参数为 0,即表示每次都从最前面插入数据;读取数据时,使用 pop() 方法,即将队列的最后一个元素弹出。如此 list 列表中数据的存取顺序就符合“先进先出”的特点。实现代码如下:队列通过 insert() 方法实现,这种方法效

2022-04-06 21:02:31 1058

原创 latex 提交到arxiv

reference.bib = main.tex主文件和 参考文献名字得相同。reference.bib-> main.bibcleveref虽然把参考文献的引用搞定了,但我还是遇到了所有用 cleveref 宏包 \cref 命令的引用(公式、图表)全部都还是??。根据http://tex.stackexchange.com/questions/276801/how-does-one-use-cleveref-in-an-arxiv-submission,原来问题出在 cleveref 必须在

2022-04-01 13:00:29 59

原创 动态规划题

讲解:https://zhuanlan.zhihu.com/p/91582909

2022-02-09 21:53:10 106

原创 函数,泛函,算子

函数是从数到数的映射。泛函是从函数到数的映射。算子是从函数到函数的映射。https://www.cnblogs.com/-mr-y/p/7850787.html

2021-12-14 10:18:58 288

原创 roc_auc_score sigmoid

sklearn中使用roc_auc_score()函数计算auc。group true得是{0,1}n\{0,1\}^n{0,1}n, pred 理论上得是每个元素都是概率。用于多标签分类的话是得用sigmoid 激活后的(0,1)之间的概率值。但是sklearn是可以直接没有经过sigmoid 激活后的值作为输入的,结果跟有sigmoid 是一样的roc_auc_score(gt,torch.sigmoid(pred))==roc_auc_score(gt,pred)...

2021-11-03 10:09:29 93

原创 pytorch batch sparse tensor (构建稀疏batch)

直接通过scipy sparse矩阵转化这个方法的缺点是不能构建 batch 的sparse tensor def sparse_mx_to_torch_sparse_tensor(sparse_mx): """Convert a scipy sparse matrix to a torch sparse tensor.""" # sparse_mx = sp.coo_matrix(sparse_mx) sparse_mx1 = sparse_mx.to

2021-10-31 11:00:33 160 1

原创 Categorical Distribution(分类分布)

将一个小球放入两个桶,记变量x 为第一个桶里面有的小球个数,那么只有 0 个或者 1 个,所以是服从伯努利分布;将 n 个小球放入两个桶,记变量 x 为第一个桶里面的小球个数,那么最少可能有 0 个,最多可能有 n 个,所以服从二项分布;将一个小球放入 k 个桶,记变量 x 为 k 个桶内的小球个数,所以是一个向量,并且是One-hot的形式,因为这个小球只能在一个桶里面,所以是服从Categorical分布;将 n 个小球放入 k 个桶,记变量 x 为 k 个桶内的小球个数,是一个向量,并且向量元.

2021-10-27 21:04:16 1092

原创 英语-科技论文写作中国人常犯的错误

文章目录喜欢将目的(to),原因(for),时间(when),地点(based on)等放在前面,然后再说自己做了什么。如to+目的,we do sth.Such as 和 etc.(and so on) 是不能同时使用的这些词不用加复数这些词组只需要用一个词即可以,一起用累赘。不能用缩写开头,如 Thm. 2, Lem. 1. 不能用how to 开头避免使用 'Obviously', ‘that is to say’ , ‘namely’, 不用 too 结尾。喜欢将目的(to),原因(for),时

2021-10-25 16:36:26 67

原创 多元复合函数求导

https://zhuanlan.zhihu.com/p/61585348

2021-10-11 20:59:56 21

原创 离散测度(optimal transport)

在optimal transport 中经常会将几何空间的概率表示成discrete measures , 这种形式的概率可以这么理解。实数集下,测度本身就是一个函数,其能将实数集的子集 E 映射到非负实数 m(E) ,并称这个数为集合 E 的测度,通常定义为集合的长度。而离散测度同样是一个函数Ps:S→RP_s:S\to \mathbb RPs​:S→R,当输入第i个点xsi∈{xs(j);j=1,2,...,ns}x_s^{i}\in\{x_s^{(j)}; j=1,2,...,n_s\}xsi​

2021-09-11 22:23:59 245

原创 shell if 条件字符串判断

注意:比较运算符的两边都有空格分隔,同时要注意比较运算符两边的变量是否可能为空,比如下面这个例子:双引号会将$model 识别成变量,而单引号不会#!/bin/bash#文件名:test.shif [ $1 == 'hello' ];then echo "yes"elif [ $1 == 'no' ];then echo "no"fi应该加入 else nothing 判断#!/bin/bash#文件名:test.sh if [ "$1" == 'yes' ]; t

2021-09-10 10:40:59 34

原创 Pycharm debug 变量值显示不出,或者加载不出

File -> settings -> build,execution,deployment -> python Debugger , 勾选 Gevent compatible即可加载出中间变量

2021-08-31 10:58:04 1108 1

原创 度量空间,赋范空间

无论是度量(distance)还是范数(norm),都是企图将任意的一个集合,通过定义关系,进而降维到我们熟知的实数空间进行研究。度量空间给定一个集合,原本是无序且元素之间是没有关系的,而度量(距离)给其定义了2元关系。如果对于集合的元素,定义任何两个元素之间有距离,那么这个集合就是度量空间。这个距离的具体定义是:距离是一个实函数,其自变量就是集合中的任意两个元素,那么这个实函数定义的时候并不给出具体公式,而是给出实函数满足的性质,就是非负性(两个元素相等的时候,距离为0),对称性,三角不等式

2021-08-25 12:05:15 208

原创 rebuttal

一些常用句式:https://zhuanlan.zhihu.com/p/104298923https://www.cxyzjd.com/article/amusi1994/112792937https://www.zhihu.com/question/32055996AC信:https://zhuanlan.zhihu.com/p/353761920https://proceedings.neurips.cc/paper/2020/file/217eedd1ba8c592db97d0dbe54c

2021-08-11 15:44:52 46

原创 pytorch horovod 进行分布式训练

一、什么是分布式1、模型并行把复杂的神经网络进行拆分,分布在GPU里面进行训练,让每个GPU同步进行计算。这个方法通常用在模型比较复杂的情况下,但效率会有折扣。2、数据并行即让每个机器里都有一个完整模型,然后把数据切分成n块,把n块分发给每个计算单元,每个计算单元独自计算出自己的梯度。同时每个计算单元的梯度会进行平均、同步,同步后的梯度可以在每个节点独立去让它修正模型,整个过程结束后每个节点会得到同样的模型。这个方法可以让能够处理的数据量增加,变成了原来的n倍。实例代码https://githu

2021-07-27 10:28:18 196

原创 np.asarray()可将不同大小的list转成array的形式

>>> np.asarray([[1,2,3],[1,2,3,3]])array([list([1, 2, 3]), list([1, 2, 3, 3])], dtype=object)>>> np.asarray([[1,2,3],[1,2,3]])array([[1, 2, 3], [1, 2, 3]])

2021-07-23 11:11:49 117

原创 英语-for which

for which 解释1)定语从句里面,由which引导的定语从句,介词提前。②for which可以翻译成为了……目的Tomorrow I will bring here a magazine (that/which) you asked for.= Tomorrow I will bring here a magazine for which you asked.2)一些固定搭配,得具体情况具体分析。③Ten years of hard work changed her greatly,

2021-07-13 14:37:41 241

原创 Pycharm 自动同步到服务器失效

通过interpreter 的配置已经配置好远程,但是还是出现问题:No files or folders found to process。原因是服务器端的配置路径没弄好。解决方案如下:选择Tools–Deployment–Configuration,在弹出的窗口中选择Mappings,在Deployment path on server一栏填上你的本地文件存储在服务器中的路径,如下图所示:https://blog.csdn.net/Flying_sfeng/article/details/806

2021-07-12 19:47:22 276

原创 dssp 安装

Linux 安装通过conda 命令安装,conda install -c ostrokach dssp安装后得到的是mkdssp;which mkdssp~/anaconda2/bin/mkdsspcd ~/anaconda2/bin/mkdsspcp mkdssp dssp参考:http://wap.sciencenet.cn/blog-950202-1088148.html?mobile=1

2021-06-28 10:42:18 791

原创 Mac pycharm 快捷键以及键盘设置

Pycharm常用快捷键(Mac)Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ backspace命令:command + 左键 简介及代码定义command + d 复制当前行到下一行command + y 删除当前行command + / 添加注释,再按一次取消注释(适用于多行注释)command + f 文件内查找command+ r 文件内替换command + shift + enter

2021-06-16 11:29:23 187

原创 变分推断(variational inference)

变分推断对观测值的边缘分布进行分解分解概率分布把所有潜在变量和参数组成的集合记作Z\mathbf ZZ.观测变量的集合记作X\mathbf XX.找到后验分布p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X)的近似分布q(Z)q(\mathbf Z)q(Z), 用q(Z)q(\mathbf Z)q(Z)来逼近p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X). 逼近的度量就是KL 散度。 通过Evidence lower Bound(ELOB) 目标函数的最小化 来间

2021-06-13 17:40:42 49

原创 Latex调整表格列宽

一次性添加到 \setlength\tabcolsep{1pt}到 \begin{tabular} 前面即可。默认为 6 pt参考: https://wenda.latexstudio.net/article-5064.html

2021-05-23 21:24:08 1273

原创 英语-非谓语动词作定语

非谓语动词做定语的区别不定式作定语(1)不定式的一般式通常表示一个将来或经常性的动作,完成式则表示该动作发生在谓语动词所表示的动作之前。She is always the first (one) to come and the last to leave.(2)如果做定语的不定式与被修饰的名词有动宾关系,在不及物动词后通常要加上适当的介词。Let’s first find a room to live in / put the things in.We have nothing to wor

2021-05-02 19:46:39 285

原创 plt.imshow 使用(embedding 画图)

import matplotlib.pyplot as pltimport numpy as npH = np.zeros((300, 300))+np.eye(300)plt.imshow(H, cmap=plt.get_cmap('coolwarm'), vmin=H.min(), vmax=H.max())plt.colorbar()plt.show()https://www.pythonf.cn/read/41352

2021-04-09 15:45:46 266

原创 jupyter Notebook pycharm 远程

本地pycharm professional版本服务器: 安装jupyter notebook(conda命令,pip命令)pip install -U jupyterpycharm 已经远程连接服务器1.服务器jupyter 配置: jupyter notebook --generate-config jupyter notebook password vim ~/.jupyter/jupyter_notebook_config.py修改配置文件:找到下面的代码并取消注释,修改成以下格式(

2021-03-29 17:05:53 193

原创 linux tar压缩解压缩

压缩当前目录下文件夹/文件test到test.tar.gz:tar -zcvf test.tar.gz test解压缩当前目录下的file.tar.gz到file:tar -zxvf file.tar.gz查看在不解压的情况下查看压缩包的内容:tar -tf test.tar.gz参数详解五个命令中必选一个c: 建立压缩档案x:解压t:查看内容r:向压缩归档文件末尾追加文件u:更新原压缩包中的文件这几个参数是可选的z:有gzip属性的v:显示所有过程.

2021-03-28 13:46:20 51

原创 linux 添加清华镜像并安装 pytorch

linux pytorch激活pytorch 环境激活pytorch 环境source activate pytorch

2021-02-16 20:59:29 1682 2

原创 win10删除系统更新的安装包(清除C盘无用资源)

删除 C:\Windows\SoftwareDistribution\Download 下的全部文件,其为安装系统的安装包,一般没啥用,删了后大概可以省下500M空间。

2021-01-16 19:20:45 3391

原创 markdown目录树

直接在终端使用tree -L 2, 就可以打出深度为2 的目录树,作为代码插入到markdownj就可以了

2021-01-08 14:51:31 634

原创 vim 卡住退不出也不能编辑

vim使用的时候,偶尔会碰到vim莫名其妙的僵在那里。解决方案:经查,原来Ctrl+S在Linux里是锁定屏幕的快捷键,如果要解锁,按下Ctrl+Q就可以了。经验总结:牢记这两个VIM组合键 Ctrl+S 和 Ctrl+Q...

2020-12-31 10:39:02 1008 1

原创 tmux使用

(1)安装工具在ubuntu系统中使用sudo apt-get install tmux安装tmux工具(2)使用工具1,输入命令tmux使用工具2,上下分屏:ctrl + b 再按 "3,左右分屏:ctrl + b 再按 %4,切换屏幕:ctrl + b 再按o5,关闭一个终端:ctrl + b 再按x6,上下分屏与左右分屏切换: ctrl + b 再按空格键...

2020-12-15 16:54:15 105

原创 将ppt的图保存成矢量图

先将PPT保存为.pdf然后使用 adobe acrobat Pro (可以选用福昕阅读器替代) 对pdf进行剪裁剪裁出自己想要的图片之后,然后使用 在侧面工具栏使用功能 组织页面最后将自己想要的那一页单独提取出来,然后保存成.pdf,这个pdf 就可以插入论文,当成是矢量图, 不因放大而变模糊了。参考:https://www.shuzhiduo.com/A/A2dmA8mBde/...

2020-11-06 19:56:03 11869 1

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除