阅读笔记
文章平均质量分 81
sanananana
这个作者很懒,什么都没留下…
展开
-
引入概念的多文本标签分类:Concept-Based Label Embedding via Dynamic Routing for Hierarchical Text Classification
Zhang, Jiong, Wei-Cheng Chang, Hsiang-Fu Yu, and Inderjit Dhillon. “Fast Multi-Resolution Transformer Fine-Tuning for Extreme Multi-Label Text Classification.” In Advances in Neural Information Processing Systems, 34:7267–80. Curran Associates, Inc., 2021.原创 2022-04-18 21:38:02 · 1020 阅读 · 0 评论 -
基于特征融合与注意力机制的药物互作模型:MDF-SA-DDI
论文题目:MDF-SA-DDI: predicting drug–drug interaction events based on multi-source drug fusion, multi-source feature fusion and ransformer self-attention mechanism论文来源: Briefings in Bioinformatics,00(00), 2021,1–13网址:https://academic.oup.com/bib/advance...原创 2021-12-13 21:20:53 · 2054 阅读 · 0 评论 -
生成抗体的生成GNN:Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design
网址: Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design | OpenReviewICLR 2022的高分论文[8,8,8],目前没有给代码内容:抗体结合的特异性是由这些Y形蛋白末端的互补决定区(CDR)决定的。这篇论文提出了一个生成模型来同时生成CDR序列和相应的结构,并具有迭代修改已生成子图的能力有关抗体设计的一些问题挑战:CDR序列的组合搜索空...原创 2021-12-09 21:15:06 · 1365 阅读 · 0 评论 -
引入噪声解决过平滑问题的GNN方法:SIMPLE GNN NOISE REGULARISATION FOR 3D MOLECULAR PROPERTY PREDICTION AND BEYON
论文: ICLR2022的投稿,得分[8,6,5]地址: Simple GNN Regularisation for 3D Molecular Property Prediction and Beyond | OpenReview内容: 通过引入噪声的方式,减缓了GNN的过平滑问题。使得添加了噪声节点的 、不是用来处理图神经网络的GNS (Sanchez-Gonzalez* et al., 2020)达到了sota的结果。噪声节点 增加的噪声防止了过拟合,去噪损失确保了不...原创 2021-12-05 15:38:29 · 663 阅读 · 0 评论 -
一种处理3D信息的图神经网络 3DMol-Net: Learn 3D Molecular Representation using Adaptive Graph Convolutional Netwo
来源: IEEE Journal of Biomedical and Health Informatics 2021Li C , Wei W , Li J , et al. 3DMol-Net: Learn 3D Molecular Representation using Adaptive Graph Convolutional Network Based on Rotation Invariance[J]. IEEE journal of biomedical and health i...原创 2021-12-03 16:56:31 · 460 阅读 · 1 评论 -
表现力超过GIN和WL同构检验的GNN:A NEWPERSPECTIVE ON “HOW GRAPH NEURAL NETWORKS GO BEYOND WEISFEILER-LEHMAN?“
论文和代码,代码在补充材料中: A New Perspective on "How Graph Neural Networks Go Beyond Weisfeiler-Lehman?" | OpenReviewICLR 2022的高分论文,共4个评委,全8分内容:提出了一种新的消息聚合框架,可以超过GIN,达到比WL同构检验更好的表达能力,并给出了该框架下的一个实例:GraghSNN1 三种局部同构的层次两个定义邻居子图:即一个节点的邻居+自己,和所有以邻居+自己为端点的边...原创 2021-12-02 17:32:12 · 1190 阅读 · 0 评论 -
消息传递框架MPNN: Neural Message Passing for Quantum Chemistry
来源:ICML 2017论文链接: https://arxiv.org/abs/1704.01212代码: https://github.com/ifding/graph-neural-networks这篇论文本身没有提出什么新东西,基于以往的研究,提出了一个消息传递框架MPNN(Message Passing Neural Networks),然后基于这个框架选择了一个较为高效的变体,应用到了chemical prediction中1 为什么使用神经网络进行化学预测 其实现...原创 2021-11-29 20:12:41 · 4645 阅读 · 0 评论 -
Graph Classification using Structural Attention
来源:KDD2018论文地址: Graph Classification using Structural Attention | Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining代码: GitHub - sunfeng90/GAM: A PyTorch implementation of "Graph Classification Using...原创 2021-11-29 08:35:27 · 597 阅读 · 1 评论 -
GIN:图神经网络有多强大? HOW POWERFUL ARE GRAPH NEURALNET WORKS
论文: HOW POWERFUL ARE GRAPH NEURALNET WORKS https://arxiv.org/abs/1810.00826v1来源:ICLR 2019代码: GitHub - weihua916/powerful-gnns: How Powerful are Graph Neural Networks?内容:从理论上证明了邻域聚合(或称消息传递)的GNN变体的表达能力的严格上限(WL同构检验),同时设计了一个此框架下,最强大的GNN,即GIN1 邻...原创 2021-11-28 15:42:02 · 7235 阅读 · 0 评论 -
分层图池化:Hierarchical Graph Representation Learning with Differentiable Pooling
来源: KDD’18, 2018论文: https://arxiv.org/abs/1806.08804本文提出了一个层级池化的方法。在每一层,应用两个GNN,一个生成该层级的节点嵌入,一个将不同类别的节点聚类成不同的簇。这一层的输出即为下一层的输入。1 问题与挑战从节点嵌入到图嵌入的常用方法有:简单地汇总或平均最后一层中的所有节点嵌入,引入一个连接到图中所有节点的“虚拟节点”,或使用在集合上运行的深度学习体系结构聚合节点嵌入 问题:这些方法都是扁平(flat)的,即在图...原创 2021-11-27 17:19:03 · 3007 阅读 · 0 评论 -
Graphormer(图上Transformer) Do Transformers Really Perform Bad for Graph Representation?
这个模型是KDD Cup 2021 OGB-LSC(Open Graph Benchmark Large-Scale Challenge)图预测赛道第一名: KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首论文地址: https://arxiv.org/abs/2106.05234论文代码: https://github.com/Microsoft/Graphormer内容:提出了图上的Transformer,命名为Graphorm...原创 2021-11-26 17:47:55 · 2123 阅读 · 8 评论 -
DGCNN An end-to-end deep learning architecture for graph classification
AAAI-18圣路易斯华盛顿大学计算机科学与工程系代码:https://github.com/muhanzhang/DGCNN内容:常见的文本和图能够进行卷积,是因为隐含有顺序结构。比如说图上的CNN,如果将图上的像素点进行打乱的话,再好的CNN也无法处理了那么怎么样才能处理无序的图结构数据呢?答案很简单,让它有序就行了。怎么有序?排序啊。步骤:先使用多层聚合函数进行节点信息的聚合,更新节点信息 将得到的节点特征排序 将排完序的节点特征继续拼接成一维,然后直接一维卷...原创 2021-11-25 19:04:21 · 1284 阅读 · 1 评论 -
基于3D结构的球形消息传递机制的GNN Spherical Message Passing for 3D Graph Networks
地址: https://arxiv.org/abs/2102.05013v1内容:3D结构信息对分子处理十分重要,但是以往的GNN没有考虑到先固定一个点 然后????,????,????分别表示距离、夹角、扭角 因为直接使用这种三维结构缺乏有意义的物理表示,因此使用基于物理的表示进行处理1 一般的基于3D的空间传递模型 对应公式 示意图,左边为更新边的(公式(1)第一个),右边为更新节点的(公式(1)第二个)原创 2021-11-25 11:18:24 · 2289 阅读 · 0 评论 -
Graph U-Nets 阅读笔记
作者:Hongyang Gao , Shuiwang Ji美国德克萨斯A&M大学计算机科学与工程系来源:ICML 2019论文链接:Arxiv: https://arxiv.org/abs/1905.05178github链接: https://github.com/HongyangGao/gunet问题:图上的池化和上采样操作提出:新的图池(gPool)和非图池(gUnpool)操作gPool层根据可训练投影向量上的标量投影值自适应地选择一些节点以形成较小的图..原创 2021-11-22 11:44:53 · 1544 阅读 · 0 评论 -
TOP 100值得读的图神经网络----自监督学习与预训练
清华大学的Top 100 GNN papers,其中分了十个方向,每个方向10篇。此篇为自监督学习与预训练方向的阅读笔记。原创 2021-11-19 15:54:54 · 3071 阅读 · 0 评论 -
TOP 100值得读的图神经网络----架构
Top100值得一读的图神经网络 (qq.com)https://mp.weixin.qq.com/s?__biz=MzIyNDY5NjEzNQ==&mid=2247491631&idx=1&sn=dfa36e829a84494c99bb2d4f755717d6&chksm=e809a207df7e2b1117578afc86569fa29ee62eb883fd35428888c0cc0be750faa5ef091f9092&mpshare=1&scene=2原创 2021-11-14 15:37:42 · 3420 阅读 · 3 评论 -
图卷积神经网络 国科大沈华伟 视频笔记
图卷积神经网络 国科大 沈华伟_哔哩哔哩_bilibili老师讲得很好(膜大佬orzhttps://www.bilibili.com/video/BV1dT4y1o7VF/CNN平移不变性 CNN可以通过卷积核,学习到局部的平稳的结构,然后通过层层堆叠,得到层次化的presentation 问题:如何将欧氏空间的CNN应用到非欧空间中去? 欧式距离:非负,对称,三角不等式 什么是卷积h????=????∗????????=∫????????−????????????????????原创 2021-11-02 16:15:21 · 1383 阅读 · 0 评论 -
对社会信息敏感的预训练方法 LMSOC: An Approach for Socially Sensitive Pretraining
文献地址:https://arxiv.org/pdf/2110.10319.pdf本文将社会语境(感觉有点像世界知识)考虑到了NLP的模型之中,基于时间和地理位置两个社会语境构建了数据集,与基线对比,在MRR上的改进超过了100%。模型的实现非常简单,只是将社会语境信息用图的方法进行嵌入,然后将其简单粗暴地拼接到了BERT的输入中。概要“How canwe learn linguistically contextualized and socially contextuali..原创 2021-10-26 18:02:54 · 192 阅读 · 0 评论 -
变分自动编码VAE Auto-Encoding Variational Bayes
原文:Auto-Encoding Variational Bayes地址:https://arxiv.org/pdf/1312.6114.pdf1 存在问题变分贝叶斯(VB)方法涉及到对难处理后验的近似的优化,但公共平均场方法需要期望的解析解w.r.t.(with respect to 的缩写。是 关于;谈及,谈到的意思)近似后验,这在一般情况下也是棘手的,因此对于连续潜变量和/或参数具有难解后验分布的有向概率模型进行有效的推理和学习依旧是难解的问题 论文的解决方法:变分下界的重新参...原创 2021-10-23 21:07:09 · 545 阅读 · 0 评论 -
为什么BERT有效【综述】
论文标题:A Primer in BERTology: What We Know About How BERT Works论文地址:https://arxiv.org/pdf/2002.12327.pdf摘要BERT学习了什么类型的信息 是如何表示的 对其训练目标和体系结构的常见修改 过度参数化问题和压缩方法 未来研究的方向1 导言Transformer提供增强的并行化和更好的远程依赖项建模,极大动摇了NLP。基于Transformer的最好的模型是BERT,在很多b原创 2021-10-09 16:24:00 · 1142 阅读 · 0 评论 -
预训练综述 Pre-trained Models for Natural Language Processing: A Survey 阅读笔记
原文链接:https://arxiv.org/pdf/2003.08271.pdf此文为邱锡鹏大佬发布在arXiv上的预训练综述,主要写了预训练模型(PTM)的历史,任务分类,PTM的扩展,将PTM转换到下游任务的方式,PTM的资源与应用。以下为OneNote笔记的copy。1 导言非神经NLP方法通常严重依赖于离散的手工特征,而神经方法通常使用低维和密集的向量(也称为分布式表示)来隐式表示语言的句法或语义特征。 尽管神经模型在NLP任务中取得了成功,但与计算机视觉(CV)领域..原创 2021-10-08 15:25:50 · 2285 阅读 · 0 评论