- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 C++学习笔记3：sort和priority_queue的比较器重载
三种方法1. 直接重载函数2. 在类中时，需要注意加上static，因为非静态函数不加static指针的时候，会隐藏地传一个this指针，导致参数表不符3. 定义一个类，重载（）运算符。
2023-05-28 18:30:45
1154
原创 TinyWebServer的环境配置
上次pdd二面，面试官说其他都还好，但要是想去pdd的话，项目不够。。。为了工作，学起来！，学C++的同学应该都很清楚了。跑项目的第一步就是配环境，首先源码下载下来，没啥好说的。我的配置是WSL跑webserver后端，然后Windows的浏览器看网页，别问，问就是WSL装的TUI。。。
2023-04-06 10:09:33
780
1
转载 C++学习笔记（2）：构造函数是否可以是虚函数
虚函数表是属于类的, 不存在于对象的存储空间中；虚函数表指针是属于对象的, 存在于对象的存储空间中；生成对象，需要先调用对象类的构造函数, 如果对象类的构造函数是虚函数, 那么需要先知道虚函数表指针，然后根据虚函数表指针找到虚函数表，再指定调用构造函数, 此时虚函数表指针还没有被初始化指定(在构造函数中指定初始化), 这样就矛盾了, 因此构造函数是不能被声明为虚函数的。
2023-02-26 15:52:00
431
原创 C++学习笔记（1）：在默认构造函数内部使用带参数的构造函数
从一道题谈C++中构造函数调用构造函数 - 中土 - 博客园 (cnblogs.com)代码奇怪的地方在于构造函数中调用了自己的另一个构造函数，我们知道，当定义一个对象时，会按顺序做2件事情：1）分配好内存（非静态数据成员是未初始化的）2）调用构造函数（构造函数的本意就是初始化非静态数据成员）显然上面代码中，CLS obj；
2023-02-23 14:43:15
599
原创 位域和结构体异同辨析
位域与结构体的定义看起来很相似，其实就多了一个冒号。位域可以人为规定数据长度，适合用于优化数据结构。结构域可以自由的使用指针，引用等。
2022-11-25 21:04:41
281
原创 PyG中自定义Data的注意事项（__cat_dim__）
__cat_dim__() takes 3 positional arguments but 4 were given
2022-06-20 16:19:43
841
3
原创 何为本体论
文科的东西就是这点麻烦，看了忘忘了看，总是记不住。研究本体大半年了，连本体是什么都解释不清楚。现在花时间又整理一遍，暂且写个博客备个份。本体首先是个哲学概念，后来才迁移到计算机领域。大致的意思是“一切实在的最终本性”，看不懂，也不做深入了解。到上世纪末，本体被用到计算机中来，在计算机中的概念：1） 对概念化的精确描述，用于描述事物的本质。2）Ontology（中文称为：本体）是一种描述术语（包含哪些词汇）及术语间关系（描述苹果、香蕉、水果之间的关系）的概念模型。Ontology的形式可简单可
2022-05-31 14:44:58
318
原创 python 保存和读取中间变量
三种方法： pickle， joblib， pd.read_pickle很简单，知道包之后就可以搜，教程很多，此处不再赘述。需要说明的是，根据类型的不同，使用不同的包会报错，目前遇到的有：1） 使用pandas包保存，用joblib读，报错2） 使用joblib保存，用pandas读，报错还是建议统统只使用一种方法...
2022-05-04 20:32:01
1089
原创 [bug][未解决] transformer encoder对不同的输入，输出全部一样
多标签分类问题，输入是蛋白质特征，输出是蛋白质的功能（即，一个由标签组成的DAG）motivation：输入是一个有multi-hot向量组成的张量，multi-hot的每一位代表着某一种特征。考虑到不同特征之间可能存在交互作用，进而影响到最后的结果，首先用一个权重矩阵将输入嵌入之后，使用transformer的encoder进行特征的提取（特征之间没有先后关系，因而没有加入位置信息）。然后问题出现了：不管输入是什么，输出的结果都是一样的，或者十分接近。将transformer改成mlp，效
2022-04-29 17:02:27
1542
9
原创 引入概念的多文本标签分类：Concept-Based Label Embedding via Dynamic Routing for Hierarchical Text Classification
Zhang, Jiong, Wei-Cheng Chang, Hsiang-Fu Yu, and Inderjit Dhillon. “Fast Multi-Resolution Transformer Fine-Tuning for Extreme Multi-Label Text Classification.” In Advances in Neural Information Processing Systems, 34:7267–80. Curran Associates, Inc., 2021.
2022-04-18 21:38:02
986
原创 [pytorch] list类型的batch转tensor，cat与stack的区别
有一个list，其中的元素为一个tensor，list的长度即为batch_size：a = torch.randn(2, 3)b = torch.randn(2, 3)c = torch.randn(2, 3)l = [a, b ,c]需要将其转换为一个大的tensor作为模型的输入，三种方法1) 使用stack，注意stack和后续的cat一样，返回一个心得tensor，不修改原来的torch.stack(l, 0)Out[8]: tensor([[[ 0.2798, -0
2022-04-17 14:31:06
2191
原创 [BUG] 模型输出有空值
日常复现模型，打开日志文件，测试误差部分满屏幕的报错，没截图，大意是：模型输出有空值，无法计算fmax和aupr然后因为是服务器上跑，不知道怎么启动调试模式，只能使用print大法打出中间变量。类似这个样子：最后定位到是self.out_bias_gate里面有空值：往回查，发现这个参数只定义了，没有初始化：初始化之后，问题解决：但问题依旧不少：首先，用这个模型训练了两个数据集，但是前一个没有问题，到这个就报值为空的错误。其次，在打印中间变量的时候，出现过一次什么都.
2022-04-08 11:15:59
508
原创 Hugging Face的BERT模型进行文本嵌入内存爆炸的解决方法
hugging face中很多预训练好的transformer模型，可以直接下载使用，节省大量时间与算力。昨天使用BERT模型进行文本嵌入。其实很简单，核心代码就几行（text是文本，batch_size是500，总共三万条文本，只取每条文本的[CLS]作文本的整体表示）： encoded_input = tokenizer(text[start * 500: min(start * 500 + 500, len(text))], padding=True, truncation=True, r
2022-03-30 09:59:35
6355
3
原创 vscode连接服务器
使用VScode连接服务器的好处在于，vscode可以当成一个网页端的IDE，而使用Pycharm连接服务器则存在文件的同步问题，而且很慢（此处保险起见，加一个前提条件：to the best of our knowledge）。步骤一：安装Vscode没什么好说的，直接官网下载即可。步骤二：安装SSH首先需要确保电脑上有SSH，然后Vscode需要安装remote-ssh插件。具体内容见：使用VScode连接远程服务器的配置方法_junbaba_的博客-CSDN博客_vscode连接服
2022-03-07 15:24:26
16187
2
原创 基于特征融合与注意力机制的药物互作模型：MDF-SA-DDI
论文题目：MDF-SA-DDI: predicting drug–drug interaction events based on multi-source drug fusion, multi-source feature fusion and ransformer self-attention mechanism论文来源： Briefings in Bioinformatics,00(00), 2021,1–13网址：https://academic.oup.com/bib/advance...
2021-12-13 21:20:53
1922
原创 生成抗体的生成GNN：Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design
网址： Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design | OpenReviewICLR 2022的高分论文[8，8，8]，目前没有给代码内容：抗体结合的特异性是由这些Y形蛋白末端的互补决定区(CDR)决定的。这篇论文提出了一个生成模型来同时生成CDR序列和相应的结构，并具有迭代修改已生成子图的能力有关抗体设计的一些问题挑战：CDR序列的组合搜索空...
2021-12-09 21:15:06
1239
原创 引入噪声解决过平滑问题的GNN方法：SIMPLE GNN NOISE REGULARISATION FOR 3D MOLECULAR PROPERTY PREDICTION AND BEYON
论文： ICLR2022的投稿，得分[8,6,5]地址： Simple GNN Regularisation for 3D Molecular Property Prediction and Beyond | OpenReview内容： 通过引入噪声的方式，减缓了GNN的过平滑问题。使得添加了噪声节点的 、不是用来处理图神经网络的GNS (Sanchez-Gonzalez* et al., 2020)达到了sota的结果。噪声节点 增加的噪声防止了过拟合，去噪损失确保了不...
2021-12-05 15:38:29
574
原创 一种处理3D信息的图神经网络 3DMol-Net: Learn 3D Molecular Representation using Adaptive Graph Convolutional Netwo
来源： IEEE Journal of Biomedical and Health Informatics 2021Li C , Wei W , Li J , et al. 3DMol-Net: Learn 3D Molecular Representation using Adaptive Graph Convolutional Network Based on Rotation Invariance[J]. IEEE journal of biomedical and health i...
2021-12-03 16:56:31
409
1
原创 表现力超过GIN和WL同构检验的GNN：A NEWPERSPECTIVE ON “HOW GRAPH NEURAL NETWORKS GO BEYOND WEISFEILER-LEHMAN?“
论文和代码，代码在补充材料中： A New Perspective on "How Graph Neural Networks Go Beyond Weisfeiler-Lehman?" | OpenReviewICLR 2022的高分论文，共4个评委，全8分内容：提出了一种新的消息聚合框架，可以超过GIN，达到比WL同构检验更好的表达能力，并给出了该框架下的一个实例：GraghSNN1 三种局部同构的层次两个定义邻居子图：即一个节点的邻居+自己，和所有以邻居+自己为端点的边...
2021-12-02 17:32:12
1114
原创 消息传递框架MPNN： Neural Message Passing for Quantum Chemistry
来源：ICML 2017论文链接： https://arxiv.org/abs/1704.01212代码： https://github.com/ifding/graph-neural-networks这篇论文本身没有提出什么新东西，基于以往的研究，提出了一个消息传递框架MPNN（Message Passing Neural Networks）,然后基于这个框架选择了一个较为高效的变体，应用到了chemical prediction中1 为什么使用神经网络进行化学预测 其实现...
2021-11-29 20:12:41
3863
原创 Graph Classification using Structural Attention
来源：KDD2018论文地址： Graph Classification using Structural Attention | Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining代码： GitHub - sunfeng90/GAM: A PyTorch implementation of "Graph Classification Using...
2021-11-29 08:35:27
563
1
原创 GIN：图神经网络有多强大? HOW POWERFUL ARE GRAPH NEURALNET WORKS
论文： HOW POWERFUL ARE GRAPH NEURALNET WORKS https://arxiv.org/abs/1810.00826v1来源：ICLR 2019代码： GitHub - weihua916/powerful-gnns: How Powerful are Graph Neural Networks?内容：从理论上证明了邻域聚合（或称消息传递）的GNN变体的表达能力的严格上限（WL同构检验），同时设计了一个此框架下，最强大的GNN，即GIN1 邻...
2021-11-28 15:42:02
6465
原创 分层图池化：Hierarchical Graph Representation Learning with Differentiable Pooling
来源： KDD’18, 2018论文： https://arxiv.org/abs/1806.08804本文提出了一个层级池化的方法。在每一层，应用两个GNN，一个生成该层级的节点嵌入，一个将不同类别的节点聚类成不同的簇。这一层的输出即为下一层的输入。1 问题与挑战从节点嵌入到图嵌入的常用方法有：简单地汇总或平均最后一层中的所有节点嵌入，引入一个连接到图中所有节点的“虚拟节点”，或使用在集合上运行的深度学习体系结构聚合节点嵌入 问题：这些方法都是扁平（flat）的，即在图...
2021-11-27 17:19:03
2811
原创 Graphormer（图上Transformer） Do Transformers Really Perform Bad for Graph Representation？
这个模型是KDD Cup 2021 OGB-LSC（Open Graph Benchmark Large-Scale Challenge）图预测赛道第一名： KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首论文地址： https://arxiv.org/abs/2106.05234论文代码： https://github.com/Microsoft/Graphormer内容：提出了图上的Transformer，命名为Graphorm...
2021-11-26 17:47:55
1888
8
原创 DGCNN An end-to-end deep learning architecture for graph classification
AAAI-18圣路易斯华盛顿大学计算机科学与工程系代码：https://github.com/muhanzhang/DGCNN内容：常见的文本和图能够进行卷积，是因为隐含有顺序结构。比如说图上的CNN，如果将图上的像素点进行打乱的话，再好的CNN也无法处理了那么怎么样才能处理无序的图结构数据呢？答案很简单，让它有序就行了。怎么有序？排序啊。步骤：先使用多层聚合函数进行节点信息的聚合，更新节点信息 将得到的节点特征排序 将排完序的节点特征继续拼接成一维，然后直接一维卷...
2021-11-25 19:04:21
1156
1
原创 injective, surjective, bijective function 各自含义
最近看论文经常出现这位三个玩意儿，其实没有什么特别的，就是初高中知识，只不过当时没有背下来对应的英文而已。。。fuction：函数，可以多对一，不能一对多 injective function：单射函数，只能一对一 surjectivefunction：满射函数，可以多对一，但是Y中的每个值都需要有X对应 bijective function：双射函数，同时是单射函数和满射函数直接上图，很清晰这个时候在想这个问题：为什么图的READOUT函数必须是单射函数，答案就显而易见了：...
2021-11-25 15:14:12
11102
2
原创 基于3D结构的球形消息传递机制的GNN Spherical Message Passing for 3D Graph Networks
地址： https://arxiv.org/abs/2102.05013v1内容：3D结构信息对分子处理十分重要，但是以往的GNN没有考虑到先固定一个点 然后????,????,????分别表示距离、夹角、扭角 因为直接使用这种三维结构缺乏有意义的物理表示，因此使用基于物理的表示进行处理1 一般的基于3D的空间传递模型 对应公式 示意图，左边为更新边的（公式（1）第一个），右边为更新节点的（公式（1）第二个）
2021-11-25 11:18:24
2211
原创 图神经网络的直推式(Transductive)学习与归纳(Inductive)学习
一般的定义如何理解 inductive learning 与 transductive learning? - 王晋东不在家的回答 - 知乎 https://www.zhihu.com/question/68275921/answer/2034667107Inductive learning，翻译成中文可以叫做 “归纳式学习”，顾名思义，就是从已有数据中归纳出模式来，应用于新的数据和任务。我们常用的机器学习模式，就是这样的：根据已有数据，学习分类器，然后应用于新的数据或任务。Transduc..
2021-11-22 14:03:49
6703
1
原创 Graph U-Nets 阅读笔记
作者：Hongyang Gao , Shuiwang Ji美国德克萨斯A&M大学计算机科学与工程系来源：ICML 2019论文链接：Arxiv: https://arxiv.org/abs/1905.05178github链接： https://github.com/HongyangGao/gunet问题：图上的池化和上采样操作提出：新的图池（gPool）和非图池（gUnpool）操作gPool层根据可训练投影向量上的标量投影值自适应地选择一些节点以形成较小的图..
2021-11-22 11:44:53
1504
原创 TOP 100值得读的图神经网络----自监督学习与预训练
清华大学的Top 100 GNN papers，其中分了十个方向，每个方向10篇。此篇为自监督学习与预训练方向的阅读笔记。
2021-11-19 15:54:54
2805
原创 全连接神经网络的表达能力与泛化能力
在深度学习中，我们经常看到两个概念：表达能力和泛化能力表达能力指的是模型拟合训练集的能力，可以用训练损失来衡量而泛化集指的是模型迁移到测试集中的能力，可以用测试误差来衡量一般来说，全连接的神经网络表达能力很强，很容易过拟合，导致泛化能力较弱于是乎我就突发奇想，做一个小实验：首先随便造一个测试集，输入是x，输出（标签）y是x^2然后需要引入噪声，我的方法十分简单粗暴：直接将标签y随机按比例增加或减少10%以内，变为y*(0.9~1.1)于是乎得到了数据集构造函数：def generate(nu
2021-11-14 20:54:55
2345
原创 TOP 100值得读的图神经网络----架构
Top100值得一读的图神经网络 (qq.com)https://mp.weixin.qq.com/s?__biz=MzIyNDY5NjEzNQ==&mid=2247491631&idx=1&sn=dfa36e829a84494c99bb2d4f755717d6&chksm=e809a207df7e2b1117578afc86569fa29ee62eb883fd35428888c0cc0be750faa5ef091f9092&mpshare=1&scene=2
2021-11-14 15:37:42
3286
3
原创 图卷积神经网络 国科大沈华伟 视频笔记
图卷积神经网络 国科大 沈华伟_哔哩哔哩_bilibili老师讲得很好（膜大佬orzhttps://www.bilibili.com/video/BV1dT4y1o7VF/CNN平移不变性 CNN可以通过卷积核，学习到局部的平稳的结构，然后通过层层堆叠，得到层次化的presentation 问题：如何将欧氏空间的CNN应用到非欧空间中去？ 欧式距离：非负，对称，三角不等式 什么是卷积h????=????∗????????=∫????????−????????????????????
2021-11-02 16:15:21
1350
原创 使用go-cqhttp搭建一个简易的QQ机器人（入门）
使用框架：go-cqhttp：go-cqhttp 帮助中心简单来说，go-cqhttp模拟了qq的客户端，同时提供了一系列的接口，用来收发信息。处理流程：go-cqhttp从获取登录账号的qq时间，通过http或者websocket传给后台（编写后台程序就是我们的工作）进行处理，，等后台处理完之后，通过go-cqhttp的接口向qq进行发消息，撤回等操作。go-cqhttp的配置先下载go-cqhttp，首次运行的时候，会自动生成yml文件，根据后面注释配置即可。注意： ...
2021-11-01 21:41:35
21878
10
原创 Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
论文地址： https://arxiv.org/abs/2108.055421 导言预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
2021-11-01 21:16:35
2944
原创 对社会信息敏感的预训练方法 LMSOC: An Approach for Socially Sensitive Pretraining
文献地址：https://arxiv.org/pdf/2110.10319.pdf本文将社会语境（感觉有点像世界知识）考虑到了NLP的模型之中，基于时间和地理位置两个社会语境构建了数据集，与基线对比，在MRR上的改进超过了100%。模型的实现非常简单，只是将社会语境信息用图的方法进行嵌入，然后将其简单粗暴地拼接到了BERT的输入中。概要“How canwe learn linguistically contextualized and socially contextuali..
2021-10-26 18:02:54
176
原创 变分自动编码VAE Auto-Encoding Variational Bayes
原文：Auto-Encoding Variational Bayes地址：https://arxiv.org/pdf/1312.6114.pdf1 存在问题变分贝叶斯(VB)方法涉及到对难处理后验的近似的优化，但公共平均场方法需要期望的解析解w.r.t.（with respect to 的缩写。是 关于；谈及，谈到的意思）近似后验，这在一般情况下也是棘手的，因此对于连续潜变量和/或参数具有难解后验分布的有向概率模型进行有效的推理和学习依旧是难解的问题 论文的解决方法：变分下界的重新参...
2021-10-23 21:07:09
499
原创 3D信息的分子图自监督表示学习 PRE-TRAINING MOLECULAR GRAPH REPRESENTATION WITH 3D GEOMETRY
原文地址：https://wyliu.com/papers/GraphMVP.pdf摘要分子图表示学习是现代药物和材料发现中的一个基本问题。 分子图通常由其二维拓扑结构来建模，但最近发现三维几何信息在预测分子功能方面起着更为重要的作用。 然而，现实场景中3D信息的缺乏严重阻碍了几何图形表示的学习。 为了应对这一挑战，我们提出了GraphMVP(Graph Multi-View Pre-Training)框架，该框架利用2D拓扑结构和3D几何视图之间的对应和一致性来执行自监督学习(SS...
2021-10-20 09:23:21
1364
原创 数模竞赛代码整理----画图
文章目录相关矩阵图折线图AUC条形图箱型图seasns yyds！！！相关矩阵图import seaborn as snsimport numpy as npimport matplotlib.pyplot as pltf, ax= plt.subplots(figsize = (14, 10))sns.heatmap(data,cmap='RdBu', linewidths = 0.05, annot=True)# 设置Axes的标题ax.set_title('Correlation
2021-10-18 17:12:08
533
原创 数模竞赛代码整理----分类器
分类器文章目录分类器数据准备数据不均衡问题SMOTE过采样EasyEnsembleClassifier具体的分类器分类器的实现较为简单，主要从sklearn库中调取需要的函数即可。sklearn yyds！！！数据准备数据不均衡问题比如说本题，分类为0的样本有400多个，但是分类为1的样本有1500多个，此时如果直接使用数据去训练分类器，会产生问题。因为分类器全部判别为1，就会有很高的准确率了。SMOTE过采样# 首先分割训练集与测试集from sklearn.model_selection
2021-10-18 16:46:19
1121
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人