- 博客(38)
- 收藏
- 关注
RSS订阅原创 【综述】化学预训练模型
从零开始训练深度神经网络（DNNs）通常需要大量的标记分子。解决→→→分子预训练模型（Chemical Pre-trained Models, CPMs），即DNN使用大规模的未标记分子数据库进行预先训练，然后对特定的下游任务进行微调。首先，强调了从头开始训练分子表示模型来激励CPM研究的局限性。接下来，从几个关键的角度系统地回顾了这一主题的最新进展，包括分子描述符、编码器架构、预训练策略和应用。最后，强调了未来研究面临的挑战和有希望的途径，为机器学习和科学界提供了有用的资源。
2023-07-23 16:51:04
415
原创 【论文阅读】 Dimensionality reduction for large-scale neural recordings
大多数感觉、认知和运动功能取决于许多神经元之间的相互作用。近年来，连续或同时记录大量神经元的技术得到了快速发展和越来越多的使用。一个关键问题是，除了单独研究每个神经元外，通过研究记录的神经元群体可以获得什么样的科学见解。在这里，我们研究了群体研究的三个重要动机：需要统计能力的单次试验假设、群体反应结构假设和大数据集的探索性分析。许多最近的研究都采用了降维的方法来分析这些种群，并发现在单个神经元的水平上并不明显的特征。我们描述了通常应用于群体活动的降维方法，并提供了关于选择方法和解释其输出的实用建议。....
2022-08-16 01:03:22
1171
2
原创 【论文阅读】A high-performance neural prosthesis enabled by control algorithm design
神经假肢将来自大脑的神经活动转化为控制信号，以指导假肢设备，如计算机光标和机器人肢体，从而为残疾人提供与世界之间更大的互动。然而，相对较低的性能仍然是临床转化成功的关键障碍；目前的神经假体比原生臂慢得多，精确控制也较差。在这里，我们提出了一种新的控制算法，重新校准反馈意图训练卡尔曼滤波器（recalibrated feedback intention–trained Kalman filter，ReFIT-KF），它包含了关于闭环神经假体控制性质的假设。.........
2022-08-14 00:36:55
456
原创 【论文阅读】GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
目录摘要1 引言2 GCC2.1 GNN预训练问题2.2 GCC预训练2.2.1 设计子图实例2.2.2 定义类似/不类似的实例2.2.3 定义图编码器2.3 GCC微调3 实验摘要关于图表示学习的现有技术侧重于特定领域的问题，并为每个图数据集训练专用模型，该模型通常不可转移到域外数据。受自然语言处理和计算机视觉中预训练最新进展的启发，我们设计了图对比编码（GCC）——一种自监督图神经网络预训练框架，用于捕获跨多个网络的通用网络拓扑特性。我们将GCC的预训练任务设计为网络内和网络间的子图实例鉴别，并
2021-08-18 22:30:04
1677
2
原创 【论文阅读】Evaluating Modules in Graph Contrastive Learning
代码链接：https://github.com/thunlp/OpenGCL目录摘要1 准备工作2 所提出的框架2.1 采样器2.2 编码器2.3 鉴别器2.4 估计器3 实验摘要图对比学习方法对比了语义上相似和不相似的样本对，以将语义编码为节点或图嵌入。然而，大多数现有的工作只进行了模型级的评估，并没有探索模块的组合空间来进行更全面和系统的研究。为了进行有效的模块级评估，我们提出了一个将GCL模型分解为四个模块的框架：一个采样器，生成锚、正样本和负样本(节点或图)；一个编码器和一个读出函数，获
2021-08-17 22:00:15
269
原创 【论文阅读】PGCL：Prototypical Graph Contrastive Learning
目录摘要1 引言2 相关工作3 准备工作3.1 问题定义3.2 GNN3.3 图对比学习4 PGCL4.1 相关视图的聚类一致性4.2 重加权对比目标5 实验摘要之前的对比方法存在一个抽样偏差问题，即负样本很可能与正样本具有相同的语义结构，从而导致性能下降。为了减轻该抽样偏差，本文提出了一种原型图对比学习(PGCL)方法。具体来说，PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模，同时鼓励同一图的不同增强的聚类一致性。然后，给定一个正样本，通过从那些与正样本集群不同的集群中提取
2021-08-15 23:03:36
1778
1
原创 【论文阅读】IJCAI 2021 MERIT
Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning摘要1 引言2 相关工作3 方法3.1 图增强3.2 跨网络对比学习3.3 跨视图对比学习3.4 模型训练4 实验摘要受图对比学习和Siamese networks(孪生神经网络)在视觉表示学习中成功的启发，本文提出了一种新的自监督方法，通过多尺度(multi-scale)对比学习增强Siamese自蒸馏来学习节点表示。具体
2021-08-14 17:59:05
1036
原创 【论文阅读】SUBG-CON：Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning
目录摘要1 引言2 方法2.1 基于子图的自监督表示学习2.2 基于子图采样的数据增强2.3 编码子图2.4 通过中心节点和上下文子图进行的对比学习2.5 并行化3 实验摘要由于计算和内存成本有限，现有的包含完整图数据的图神经网络无法扩展。因此，在大规模图数据中捕获丰富的信息仍然是一个巨大的挑战。对于无监督的网络嵌入方法，它们过分强调了节点的接近性，其学习到的表示几乎不能直接应用于下游的应用程序任务。近年来，新兴的自我监督学习为解决上述问题提供了一个潜在的解决方案。然而，现有的自监督工作也适用于完整的图
2021-08-13 22:13:34
938
原创 【论文阅读】AD-GCL：Adversarial Graph Augmentation to Improve Graph Contrastive Learning
目录摘要1 引言2 准备工作2.1 学习图表示2.2 GNNs2.3 互信息最大化3 对抗性图对比学习3.1 AD-GCL的理论动机及制定3.2 通过可学习的边缘扰动实例化AD-GCL3.2.1 可学习的Edge Dropping GDA模型TΦ(⋅)T_Φ(·)TΦ(⋅)3.2.2 参数化TΦ(⋅)T_Φ(·)TΦ(⋅)3.2.3 调整TΦ(⋅)T_Φ(·)TΦ(⋅)4 实验摘要提出了对抗性图对比学习——AD-GCL，它通过优化GCL中使用的对抗性图增强策略，使GNN在训练过程中避免捕获冗余(图
2021-08-13 13:48:20
2342
2
原创 【论文阅读】JOAO：Graph Contrastive Learning Automated
目录摘要1 引言2 准备工作3 方法3.1 JOAO：统一框架3.2 将JOAO实例化为min-max优化3.2.1 验证增强选择效果3.3 增强感知多投影头4 实验摘要本文提出了一个统一的双层优化框架 Joint Augmentation Optimization (JOAO)，以在图上执行GraphCL时，自动、自适应、动态地选择数据增强方案。该通用框架被实例化为最小-最大优化。JOAO所做的增强选择大体上与以前手工调整中观察到的“最佳实践”一致：但现在是自动化的，更加灵活和通用。此外，我们提出了一
2021-08-11 21:47:07
2051
原创 【论文阅读】MLGCL：Multi-Level Graph Contrastive Learning
目录摘要摘要在本文中，我们提出了一个多层次图对比学习(MLGCL)框架，通过对比图的空间视图来学习图数据的鲁棒表示。具体地说，我们引入了一种新的对比视图-拓扑和特征空间视图。原始图为一阶近似结构，包含不确定性或误差，而由编码特征生成的kNN图保持了高阶近似性。因此，通过编码特征生成的kNN图不仅提供了一个互补的视图，而且更适合GNN编码器提取判别表示。此外，我们还开发了一种多层次的对比模式来同时保持图结构数据的局部相似性和语义相似性。大量实验表明，与现有的最先进的图表示学习方法相比，在7个数据集上，ML
2021-08-09 21:56:06
1111
原创 【论文阅读】ICLR 2020 InfoGraph
Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization摘要1 方法1.1 问题定义1.2 InfoGraph2.3 半监督InfoGraph2 实验摘要本文研究了在无监督和半监督场景下学习整个图的表示。图级表示在各种现实应用中至关重要，如预测分子的性质和社交网络中的社区分析。传统的基于图核的方法虽然简单，对于获得图的固定长度的表示很有效，但由于手工设计
2021-08-08 20:24:57
1180
原创 【论文阅读】BGRL：Bootstrapped Representation Learning on Graphs
目录摘要1 引言2 Bootstrapped Graph Latents (BGRL)2.1 BGRL组件2.2 BGRL更新步骤2.2.1 更新θθθ2.2.2 更新ϕ\phiϕ2.3 完全非对比的目标2.4 图增强函数3 实验摘要目前最先进的GNN的自监督学习方法是基于对比学习的，它们严重依赖于图增强和负例。例如，在标准的PPI基准上，增加负对的数量可以提高性能，因此需要的计算和内存成本是节点数量的二次方，这样才能实现最高性能。受BYOL（一种最近引入的不需要负对的自监督学习方法）的启发，我们提出了
2021-08-07 22:22:21
3584
原创 【论文阅读】Graph Contrastive Learning with Augmentations
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较摘要对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不
2021-08-06 18:45:53
1406
原创 【论文阅读】MVGRL：Contrastive Multi-View Representation Learning on Graphs
图上的对比多视图表示学习摘要摘要
2021-08-06 12:33:34
3980
原创 【论文阅读】GMI：Graph Representation Learning via Graphical Mutual Information Maximization
基于图形互信息最大化的图表示学习摘要1 引言2 GMI：定义和最大化2.1 FMI摘要本文研究了如何在无监督的情况下，将图结构数据中丰富的信息保存和提取到嵌入空间中。为此，我们提出了一个新的概念，图形互信息(GMI)，来测量输入图和高级隐藏表示之间的相关性。GMI将传统的互信息计算的思想从向量空间推广到图域，其中从节点特征和拓扑结构这两个方面测量互信息是必不可少的。GMI展示了几个好处：它对输入图的同构变换是不变的，这是许多现有的图表示学习算法中不可避免的约束。它可以通过现有的互信息评价方法
2021-08-04 19:01:08
2383
1
原创 【论文阅读】GCA：Graph Contrastive Learning with Adaptive Augmentation
代码链接：https://github.com/CRIPAC-DIG/GCA基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强摘要近年来，对比学习（CL）已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强，以获得两个图视图，并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。我们认为，
2021-08-03 16:11:52
4596
原创 【论文阅读】GROC：Towards Robust Graph Contrastive Learning
目录摘要1 引言2 相关工作2.1 图自监督学习2.2 图的对抗性攻击和防御3 Graph Robust Contrastive Learning3.1 Background3.2 Motivation3.3 Method4 实验摘要本文研究了图上的对抗鲁棒自监督学习问题。在对比学习框架中，我们引入了一种新的方法，通过i）对抗性转换和ii）不仅移除而且插入边的转换来提高学习到的表示的对抗鲁棒性。我们在一组初步的实验中评估了学习到的表示，得到了性能优异的实验结果。我们认为，这项工作在将鲁棒性作为图对比学习
2021-08-02 16:34:30
770
原创 【论文阅读】GRACE：Deep Graph Contrastive Representation Learning
目录摘要摘要本文提出了一个利用节点级对比目标的无监督图表示学习框架。
2021-08-01 18:14:55
4005
原创 【论文阅读】HDGI：Heterogeneous Deep Graph Infomax
目录摘要1 引言2 相关工作3 定义4 HDGI方法4.1 HDGI体系结构概述4.2 基于元路径的局部表示编码4.2.1 针对特定元路径的节点表示学习4.2.2 异质图节点表示学习4.3 全局表示编码器4.4 HDGI的学习4.4.1 基于互信息的discriminator4.4.2 负样本生成器5 实验摘要HDGI使用元路径对异质图中涉及语义的结构进行建模，并利用图卷积模块和语义级注意机制来捕获单个节点的局部表示。通过最大化局部-全局互信息，HDGI有效地学习了基于异质图中不同信息的节点表示。实验
2021-07-31 15:34:49
1030
原创 【论文阅读】GraphCL：Contrastive Self-Supervised Learning of Graph Representations
图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验摘要本文提出了图对比学习（GraphCL），一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中，我们证明了我们的方法在许多节点分类基准上显著优于最新的无
2021-07-30 17:14:17
3124
1
原创 【论文阅读】DMGI：Unsupervised Attributed Multiplex Network Embedding
无监督属性化多路复用网络嵌入摘要1 引言2 问题陈述3 Unsupervised Attributed Multiplex Network Embedding3.1 Deep Multiplex Graph Infomax: DMGI4 实验摘要多路复用网络中的节点由多种类型的关系连接。然而，大多数现有的网络嵌入方法都假设节点之间只存在一种单一的关系。即使对于考虑网络多重性的人，他们也会忽略节点属性，使用节点标签进行训练，并且无法对图的全局属性建模。受DGI最大化局部patches和整个图的全局表示之间
2021-07-29 12:25:01
2516
4
原创 对比学习（contrastive learning）
什么是自监督学习？举个通俗的例子：即使不记得物体究竟是什么样子，我们也可以在野外识别物体。我们通过记住高阶特征并忽略微观层面的细节来做到这一点。那么，现在的问题是，我们能否构建不关注像素级细节，只编码足以区分不同对象的高阶特征的表示学习算法？通过对比学习，研究人员正试图解决这个问题。什么是对比学习？对比学习是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。让我们从一个简单的例子开始。想象一下，你是一个试图理解世界的新生婴儿。在家里，假设你有两只
2021-07-28 00:31:24
104962
13
原创 【论文阅读】HeCo：Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning
具有共对比学习的自监督异质图神经网络摘要1 准备工作2 HeGo模型2.1 节点特征转换2.2 网络架构视角引导的编码器2.3 元路径视角引导的编码器2.4 视角掩蔽机制2.5 协同对比优化（ Collaboratively Contrastive Optimization）2.6 模型扩展2.6.1 HeCo_GAN2.6.2 HeCo_MU3 实验3.1 实验设置3.2 节点分类3.3 节点聚类论文链接：https://arxiv.org/abs/2105.09111代码链接：https://git
2021-07-23 23:10:56
4513
原创 【论文阅读】Spectral Networks and Deep Locally Connected Networks on Graphs（图的频谱网络和深度局部连接网络）
【论文阅读】Spectral Networks and Deep Locally Connected Networks on Graphs（图的频谱网络和深度局部连接网络）摘要1 引言2 空间结构2.1 节点的邻域2.2 图的多分辨率分析2.3 深度局部连接网络摘要卷积神经网络在图片和音频的识别任务中表现良好，是充分利用了信号在其域中的局部平移不变性。但由于图是非欧氏空间的数据结构无法进行传统意义上的卷积操作，同时又希望卷积的思想可以应用在图结构上。于是作者基于此提出了两种结构，一种基于域的层次聚类(空
2021-07-12 08:48:54
1148
1
原创 【论文阅读】HGT：Heterogeneous Graph Transformer
目录摘要引言摘要这篇论文提出了用于建模Web规模异质图的异质图转换架构（HGT）。为了对异质的节点和边进行建模，作者设计了和节点类别、边类别有关的参数，来表征在每个边上的异质性的注意力，这使得HGT可以为不同类型的节点和边生成专用的表示。HGT还可以处理动态的异质图。作者在HGT中引入相对时间编码技术，可以捕获到任意时间段内的动态结构依赖关系。为了能够处理Web规模的图数据，还设计了mini-batch图采样算法——HGSampling，实现高效并可扩展的训练。引言参考博客：https://b
2021-04-27 10:32:36
5437
2
原创 【论文阅读】Graph Transformer Networks
目录摘要摘要GNN已被广泛应用于图的表示学习，并在节点分类和链路预测等任务中取得了最先进的性能。然而，大多数现有的GNN都被设计用来学习固定图和齐次图上的节点表示。当学习由各种类型的节点和边组成的异质图上的表示时，这些限制尤其成为问题。本文提出了能够生成新的图结构的Graph Transformer Networks（GTN），它涉及识别原始图上未连接的节点之间的有用连接，同时以端到端的方式学习新图上的有效节点表示。...
2021-03-20 09:36:40
1240
原创 word2vec
One-Hot 编码One-Hot 编码又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，N个状态中只有一位有效。举个例子，假设有四个样本（行），每个样本有三个特征（列），如图：feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。feature_2 和feature_3各有4种取值（状态）。one-hot编码就是保证每个样本中的单个特征只有1位处于状态1，其他的都是0。上述状态用one-hot编码如下图所示：再
2021-03-12 23:27:40
130
原创 bag-of-words
Bag-of-words 最初应用于文本处理领域，用来对文档进行分类和识别。Bag-of-words 因为其简单有效的优点而得到了广泛的应用。其基本原理可以用以下例子来给予描述。给定两句简单的文档：文档 1：“我喜欢跳舞，小明也喜欢。”文档 2：“我也喜欢唱歌。”基于以上这两个文档，便可以构造一个由文档中的关键词组成的词典：词典={1:“我”，2:“喜欢”，3:“跳舞”，4:“小明”，5:“也”，6:“唱歌”}这个词典一共包含6个不同的词语，利用词典的索引号，上面两个文档每一个都可以用一个6维向量
2021-03-12 20:02:34
208
原创 【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
异质图嵌入的元路径聚合图神经网络摘要摘要参考博客：【论文解读 WWW 2020 | MAGNN】Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
2021-03-10 21:58:52
1606
原创 【论文阅读】Heterogeneous Graph Attention Network
异质图注意网络摘要引言相关工作摘要GNN在深度学习领域表现出了优越的性能。但是，在包含不同类型节点和边的的异质图的图神经网络中，GNN还不够完善。异构性和丰富的语义信息给异质图的图神经网络设计带来了巨大的挑战。本文首先提出了一种异质图神经网络分层注意力机制，涉及到节点级别和语义级别。具体来说，节点级注意力学习节点及其基于元路径的邻居之间的重要性，而语义级注意力能够学习不同元路径的重要性。 然后，该模型可以通过分层的方式从基于元路径的邻居中聚合特征来生成节点嵌入。引言相关工作参考博客：异构图注意力
2021-03-04 20:27:48
1653
1
原创 无标度网络（scale-free network）
无标度网络具有严重的异质性，其各节点之间的连接状况（度数）具有严重的不均匀分布性：网络中少数称之为Hub点的节点拥有极其多的连接，而大多数节点只有很少量的连接。少数Hub点对无标度网络的运行起着主导的作用。从广义上说，无标度网络的无标度性是描述大量复杂系统整体上严重不均匀分布的一种内在性质。（来自百度百科）随机网络：没有中心节点，大部分节点都均匀的连在一起。现实世界的网络大部分都不是随机网络，而是无标度网络：大部分的连接都集中在少数的中心。参考博客...
2021-03-03 15:43:05
8123
1
原创 【论文阅读】Graph Few-shot Learning via Knowledge Transfer
通过知识迁移的图小样本学习摘要引言摘要针对图的半监督学习已经提出了很多的研究方法。GNN作为一个前沿，近年来引起了人们的广泛关注，它通过聚合邻居的信息来更新每个节点的表示。然而，大多数GNN都是通过在一个限定的局部区域内，利用浅层的神经网络进行信息聚合，可能无法达到令人满意的性能，特别是当标签节点的数量相当少时。为了解决这一问题，本文提出了图的小样本学习方法GFL，该方法融合了从辅助图中学习到的先验知识，以提高对目标图的分类精度。具体来说，在辅助图和目标图之间共享一个以节点嵌入和特定图原型嵌入函数为特征
2021-02-24 20:46:25
720
原创 【论文阅读】DEEP GRAPH INFOMAX（DGI）
DEEP GRAPH INFOMAX（DGI）摘要1 Introduction2 相关工作3 DGI Methodology3.1 基于图的无监督学习3.2 局部-全局互信息最大化3.3 理论动力3.4 DGI概述4 实验摘要本文提出了DGI，一种以无监督的方式学习图结构数据中节点表示的一般方法。DGI依赖于最大限度地扩大图增强表示（patch representation）和对应的高阶图摘要（ high-level summaries of graphs）之间的互信息——两者都是使用已建立的图卷积网络
2021-02-22 21:54:35
9982
2
原创 【论文阅读】GRAPH ATTENTION NETWORKS
GRAPH ATTENTION NETWORKS（图注意力网络）参考博客摘要1 引言2 GAT结构2.1 图注意力层（GRAPH ATTENTIONAL LAYER）2.2 与相关工作的比较3 模型评价3.1 数据集3.2 最先进的方法3.3 实验设置3.4 结果4 结论参考博客图注意力网络 GRAPH ATTENTION NETWORKSGRAPH ATTENTION NETWORKS 学习翻译图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解Gr
2021-02-04 16:46:48
666
原创 【论文阅读】SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
【论文阅读】SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS（基于图卷积网络的半监督分类）预备知识参考论文INTRODUCTION预备知识【GCN】图卷积网络初探——基于图（Graph）的傅里叶变换和卷积从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）参考论文【GCN】论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETW
2021-02-01 15:13:53
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人