weixin_43301333的博客

比方说我有一个list是这个样子：[('1',0.99,2,"a"),('2',0.78,17,"b"),('3',0.32,2,'c')]我现在想把这个list按照里面每个tuple的第三个位置为主要关键字，第二个位置为次要关键字排序。其实很简单，把sort里面的key写成返回两个compare元素的func就行了：t = [('1',0.99,2,"a"),('2',0.78,17,"b"),('3',0.32,2,'c')]key = lambda x:(x[2],x[1]) ## 以每

有时候引文里面有些title是需要大写的，但是因为latex在引用的时候，除了首字母之外，如果大写字母外面没有{}的话，大写是不生效的。再加上有很多journal是有doi或者url的，就会导致引文比较难看。为了处理上面两个问题，笔者写了一段简单的脚本，能够将bib file规整化。'''capitalize the titleremove all url and doi'''import argparseparser = argparse.ArgumentParser()parser

oindent和\setlength{\parindent}{0cm}只能在首段生效，如果在一个paragraph中间某些位置使用的话是不生效的。解决办法也很简单，用{}分隔作用域：## 反例:\setlength{\parindent}{0cm}You are beautiful.\setlength{\parindent}{0cm}I am cute.上面这段，第二句话I am cute.是没有办法取消缩进的.## 正确示范:{\setlength{\parindent}{0

1. 前言首先driver版本、cuda版本、cudnn版本在绝大多数情况下（个人pc机上）都是一致的。但很多情况下，我们需要在一台设备上，使用多个版本的cuda, 比方说：多人使用的服务器需要跑一些其他cuda支持的代码(e.g., 设备安装的cuda为11，需要跑torch1.3代码，但是torch1.3最高只支持到cuda10.1)上述这种情况下就只能在一个版本的driver上，安装多个版本的cuda和cudnn。但是，这完全是可以做到的.2. 方法2.1 安装显卡驱动在进行接下来的

torch_geometric集成了各种各样图结构，但是因为不同的图结构会依赖于不同的后端计算(e.g., torch_cluster,torch_scatter)，使得就算成功安装torch_geometric之后，有些图结构可以使用GPU进行推理，但是有些则不能。(比方说这种issue: github-issue)用下面这段代码尝试三种图结构的推理反传：import torchfrom torch import nnfrom torch_geometric.nn.conv.rgcn_conv i

常用激活函数（激励函数）理解与总结

经常用到，但是又经常把这个接口忘掉，torch文档里面又不是很直接，所以记录一下。大概两种用途吧：一些特定的算法，需要半路取出模型某个部分的梯度 (e.g., adversarial training)debug用，试试看loss反传是否异常 (某些特定部分的梯度大小是否异常等)比方说：torch.autograd.grad(loss,self.encoder.embeddings.speaker_embed.parameters(),retain_graph=True)查看模型enco

建议用最新版本的torch_geometric，不用版本的API变动会比较大。这个包最关键的一个类是MessagePassing：aggr: 信息传递的方式，默认是add。也就是neighbor的信息聚合是加在center node上的(详见GCN原文)。flow: 信息传递的方向。这个要和后面的edge_index联合起来理解。默认为source_to_target。其他不做解释。MessagePassing的forward参数是：最重要的是这个edge_index,结合前面的flow

需要在launch.json里面设置justMyCode为False，具体而言如下：加入一个"justMyCode": false,设置，这样该debug属性就能够进入到库代码里面去

直接pip install torch_geometric会报错No module named torch_sparse，之后会有一堆坑等着你正确的做法如下：1. 安装其他依赖先得去下载torch_sparse、torch_cluster，etc.等其他依赖：离线包下载找到自己的环境版本(e.g., torch-1.8.0+cu111)然后下载下面四个.whl：全部安装完毕就行：2. 安装torch_geometricpip install torch_geometric如果已经安装

大致看了一下这两个资料：深入浅出GCN、GAT、GraphSage，MPNN等图神经网络模型【贪心学院】emnlp19_tutorial

VAE和GAN里面训练的时候常用的技巧，主要是为了解决那种预测是"hard"，即输出是一个one-hot的决策时，没有办法直接计算后续损失的情况。而使用softmax强制其输出为概率分布的话，虽然可以计算后续损失，但是其本质上还是argmax的含义。为了能够在模型决策训练的过程中引入一定的随机性(个人理解为决策的soft程度，而不是单纯的hard)，尤其是在Reinforce Learning里面，常用一个trick就是gumbel-softmax。其核心思想是利用gumbel分布进行采样，增加模型决策的随

今年CCL改为线上开展，所有学生研讨、特邀报告全部对外开放。在此，有幸能够听到赵鑫老师，丁宁、王思远等众多优秀学长学姐的科研心得分享(原价2870元/人的研讨会，还是蛮值的)。1. 如何写一篇"合格"的国际学术论文？(赵鑫教授)还是一句话，introduction非常非常重要！notation没有固定的规则，硬要说的话，满足：好看好记自成体系即可这里赵鑫老师推荐了一个template，有相应的公式可以简单仿照上面的写法：DeepLearningBook也可以自己找本机器学

无语，如果想要用python3.6版本的话，还是考虑用3.6.5吧…3.6.0可能会出现的bug：安装spacy报错 AttributeError: type object ‘_CleanResult‘ has no attribute ‘from_link‘3.6.1可能会出现的bug：【 python pip】 报错 ImportError: cannot import name ‘NoReturn‘...

日期：2021.12.2最新的对应关系请参见官网:

按照我上一篇博客的指引安装spacy:安装spacy从离线包安装:pip install en_core_web_trf-3.1.0.tar.gz但是报错：解决办法很简单，把python3.6.0换成其他任意一个python版本就行，这个错误是3.6.0所以独有的：参考：AttributeError: type object ‘_CleanResult’ has no attribute ‘from_link’ crash on v21.2.3 #10280...

用linux的时候，基本都是缺啥补啥，看到terminal里面提示缺少啥依赖就无脑install，这种键由于各种原因(网络、安装包之间死锁)，导致很多包都是broken的，然后一时之间没有办法清理。这个时候记得用以下命令自动清除和fix，在某些情况下可以比较有效：## 清除没用的包并更新sudo apt-get autocleansudo apt-get updatesudo apt-get upgradesudo apt-get -u dist-upgrade## fix一些broken的依

du -ah --max-depth=1du -sh # 查看当前目录总共占的容量。而不单独列出各子项占用的容量 du -lh --max-depth=1 # 查看当前目录下一级子文件和子目录占用的磁盘容量。参考：linux 查看当前目录占用空间...

这个问题困扰了我很久：笔者非常喜欢用markdown,觉得他轻便、灵活、美观，但是奈何，markdown里面插图片会显得有些棘手，比方说最简单的用本地图片(markdown里面就是本机图片的路径)，这样一来如果你想要把自己的md文件分享给别人，别人就看不到里面的图片了。解决方法当然可以是把所有图片都和md文件一起打包，然后改为相对路径，分享给别人，或者用base64转码，亦或是传到服务器(详见该博客：MarkDown添加图片的三种方式)但是这又有损markdown本身的灵活性。某天俺在某sdn里面写b