- 博客(71)
- 收藏
- 关注
RSS订阅原创 【理论推导】随机微分方程(SDE)视角下的Diffusion Model与Score-based Model
随机微分方程下的扩散模型与分数模型
2023-03-31 15:48:25
3590
原创 Spectral Networks and Deep Locally Connected Networks on Graphs
Paper : Spectral Networks and Deep Locally Connected Networks on GraphsCode :摘要Yann LeCun 组在nips2014发表的有关卷积在图上迁移的理论研究成果，可能是最早的一篇研究Graph Convolution 的文章。在欧式空间中使用的卷积具有平移不变性，权值共享，局部连接，分层次表达的特点，但是图结构是一种非欧式空间中的关系型结构，所以其不存在平移不变性（每个节点的周围邻居数不固定），导致图网络无法使用卷积。作.
2020-09-22 15:18:35
406
原创 node2vec
Paper : node2vec: Scalable Feature Learning for NetworksCode : official摘要作者在DeepWalk思想的基础上，对RandomWalk算法进行改进，结合了深度优先搜索和广度优先搜索的优点，提出了node2vec的搜索策略，用来定义点的局部邻域。不过在GNN方法出来之后类DeepWalk的方法差不多算是过时了。该篇论文的主要贡献点有以下几点作者提出了node2vec，一种用于网络特征学习的有效可扩展算法，该算法使用SGD有效地.
2020-09-21 16:34:40
283
原创 Deep Graph Kernels
Paper : Deep Graph KernelsCode :摘要这是另一篇上古时期学习图结构的特征表示文章，在此考古一下并学习这篇文章使用的核方法。作者提出了一种学习图子结构潜在表示的统一框架，DGK框架。 该框架通过利用子结构之间的依赖关系信息，给出图与图之间的相似度定义，通过相似度来定义图结构的潜在表示。作者给出了该框架应用到三种常见的图内核（Graphlet内核，Weisfeiler-Lehman子树内核和最短路径图内核）上的特例情况。核方法衡量结构化对象之间相似性的一种方法是使用内.
2020-09-19 13:25:32
2112
3
原创 DeepWalk
DeepWalkPaper : DeepWalk: Online Learning of Social RepresentationsCode :摘要作者提出了一种自监督学习图的点特征表示的方法DeepWalk，使用从截断的随机游走方法中获得的图的局部信息，通过将游走视为句子的等效词来学习潜在表示。DeepWalk作为一种在线学习算法，可建立有效的增量结果，并且可以并行化。事实上DeepWalk已经可以称作是上古的图表示学习的方法了，这篇文章主要是考古用。DeepWalk图的点特征表示学习定
2020-09-18 17:59:21
238
原创 APPNP
Paper : Predict then Propagate: Graph Neural Networks meet Personalized PageRankCode : official摘要随着GNN网络层数的提高，存在过平滑和参数量过大难以训练的问题。作者探索了GCN与PageRank算法之间的关系，提出了基于Personalized Page Rank 的改进版本的信息传递方式PPNP(Personalized Propagation of Neural Prediction)，以及快速近.
2020-07-24 20:21:42
3811
2
原创 Attention Is All Your Need
Paper : Attention Is All Your NeedCode : official摘要本文提出了经典的Attention与Multi Head Attention 机制，并利用这两部分构造了一个Transformer结构，为BERT的提出打下基础。作者在NLP相关的数据集上进行测试，相比CNN和RNN给出了以下几个优点并行度高，训练时间短表现更好可以更好的处理长距离依赖关系，从全局的角度处理输入和输出的依赖关系Transformer 结构从NLP模型架构的角度来看，.
2020-07-24 15:36:39
174
原创 InfoGraph
Paper : InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information MaximizationCode :摘要作者使用 Deep Infomax 的方法来学习网络的图表示，并提出了自监督学习版本的训练方法 InfoGraph 与非监督学习版本的训练方法 InfoGraph* ，两者之间的差别在于 InfoGraph* 损失函数多了一项防止发生 ne.
2020-07-17 10:58:13
2876
5
原创 Contrastive Learning Of Structured World Models
Paper : Contrastive Learning Of Structured World ModelsCode : official摘要作者在强化学习任务中，提出了使用GNN来建模多物体之间的关系的方法，使用transE的思路来进行状态的预测，并通过Contrastive Loss 来进行训练，提出 C-SWM 模型。作者在雅达利游戏，多物体物理模拟等任务上达到了SOTA。方法C-SWM模型可以对物体与物体之间的关系建边，目的是对每个物体学习到它的特征表示，通过Contrastive .
2020-07-13 20:41:30
461
原创 Few-shot Learning with Graph Neural Networks
Paper : FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKSCode : official摘要作者使用GNN建模少样本学习任务中的消息传递过程，将每个样本看作是图中的节点，少样本学习转化为图中给出部分节点的标签以后进行训练的点分类任务。作者提出的GNN建模方法还可以扩展到半监督学习或主动学习的任务上。问题设定首先给出少样本学习，主动学习和半监督学习的通用描述，考虑输入输出对 (T,Y)(\mathcal T,\mathcal Y)(T,Y)T={{.
2020-07-13 14:50:43
699
原创 Pre-Training Graph Neural Networks for Generic Structural Feature Extraction
Paper : Pre-Training Graph Neural Networks for Generic Structural Feature ExtractionCode :摘要作者想要解决的任务是根据图结构进行预测，通过构造三种与图结构相关的损失函数，作者给出的预训练算法得到的模型参数可以包含从图的局部到全局不同层次的结构信息，...
2020-07-08 22:19:11
645
原创 GPT-GNN
Paper : GPT-GNN: Generative Pre-Training of Graph Neural NetworksCode : official摘要GPT-GNN引入了自监督的属性图生成任务来预训练GNN，以便捕获图的结构和语义属性。 我们将图生成分为两个部分：属性生成和边生成。通过对两个部分进行建模，GPT-GNN可以在生成过程中捕获节点属性与图结构之间的固有依赖性。生成过程GPT-GNN通过最大化图的似然函数来预训练 GNN，也就是说θ∗=maxθp(G;θ)\the.
2020-07-08 16:58:29
1076
原创 Reptile
Paper : On First-Order Meta-Learning AlgorithmsCode :摘要作者仿照FOMAML(一阶近似MAML)的方法提出了Reptile算法进行元学习，Reptile与FOMAML同样只利用了一阶梯度信息，但是理论分析了Reptitle可以使用SGD对二阶梯度信息进行近似，因此相比MAML取得了更优的结果。本文的理论分析部分值得一看。算法MAML求解的问题形式化的表示为minϕET[LT(UT(k)(ϕ))]\min_{\phi}\mathbb E.
2020-07-07 23:29:34
1106
原创 MAML
Paper : Model-Agnostic Meta-Learning for Fast Adaptation of Deep NetworksCode : official摘要作者根据元学习(meta learning)的表达式提出了MAML算法用来进行元知识的梯度下降，使用一阶近似的方法来避免计算损失函数的二阶导，并在小样本学习任务(few-shot learning)上取得了SOTA的成绩。作者强调MAML算法具有模型无关性，可以适用于任何基于梯度下降优化的模型上。并给出了MAML与监督学.
2020-07-07 17:56:14
2274
原创 计算机网络原理
计算机网络原理文章目录计算机网络原理引言计算机网络体系结构数据通信的基本原理物理层接口数据链路控制及其协议局域网和介质访问子层网络层和路由控制传送层服务和控制计算机网络应用引言网络空间的三大基础性关键核心技术：CPU/OS/互联网体系结构历史：ARPANET，X.25，OSI体系，Internet主要研究内容：规模实验，路由性能，路由控制互联网重大技术挑战：扩展性 安全性 高性能 移动性 实时性 管理性计算机网络：一批独立自治的计算机系统的互连集合体计算机网络体系结构计算机网络：通信子
2020-07-02 23:09:13
1249
原创 Graph Isomorphism Network
Paper : GRAPH ISOMORPHISM NETWORKCode :摘要作者使用Weisfeiler-Lehman(WL) test 和同构图判定问题来评估GNN网络的表达能力，并提出了GIN网络结构，理论分析GIN的表达能力优于GraphSAGE GCN等结构，在多任务上准确率达到了SOTA。WL测试与GNN具有相似的信息传递方式，在WL test算法运行的过程中，算法构造了从 multiset 到 representation 的单射函数，因此WL test在图同构问题上具有强表达能.
2020-07-01 22:14:39
6597
原创 Strategies For Pre-Training Graph Neural Networks
Paper : STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKSCode : official摘要作者解决的问题是如何预训练一个GNN网络，保证预训练的结果在具体数据集中finetune不会negative transfer 的现象。作者在文中并没有细致的解释为什么GNN上进行transfer learning 会更难，这个可能需要翻一下该篇文章的引用paper。作者提出了两步的预训练策略，分别在节点层面和图层面进行预训练，保证GNN预训练过程中可.
2020-07-01 17:49:14
419
原创 EigenPool
Paper : Graph Convolutional Networks with EigenPoolingCode :摘要作者提出了EigenPool用来进行图的层次性池化操作，相比于DIFFPOOL，EigenPool 主要解决的是面对层次化聚类过程中，如何将合并成一个超级节点的子图的结构信息保留下来的问题，DIFFPOOL采用的是简单的加和，而EigenPool用子图上的信号在该子图上的图傅里叶变换来代表结构信息与属性信息的整合输出，具有如下几个特点非参数化池化过程硬簇聚类矩阵，减少合.
2020-06-30 21:39:16
1330
原创 DiffPool
Paper : Hierarchical Graph Representation Learning with Differentiable PoolingCode :摘要对于Graph Classification 任务来说，GNN的最后一步需要关注图数据的全局信息，既包含图的结构信息，也包含各个节点的属性信息。如果采用一次性全局池化的方法聚合点上的特征表示，并没有将图的结构考虑进去，而且可能在节点重编号后聚合的结果会发生改变，也就是说聚合过程中依赖节点顺序。在CNN模型中，通常采用的做法是通过.
2020-06-30 16:45:54
911
原创 GAT
Paper : Graph Attention NetworksCode :摘要注意力机制的核心在于对给定信息进行权重分配，只关注最相关的输入来进行决策。当注意力机制用来生成一个序列的表示时，也被称作是自注意力机制。注意力机制的表示形式如下假定Source是需要系统处理的信息源，Query代表某种条件或者先验信息，Attention Value是给定Query信息的条件下，通过注意力机制从Source中提取得到的信息。一般Source里面包含有多种信息，我们将每种信息通过Key-Value对的.
2020-06-30 12:40:03
1583
原创 SiamRPN++
Paper : SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep NetworksCode : official摘要作者研究的核心是如何将网络深度较深的结构应用到SiamRPN网络中。作者发现现有的SiamRPN以及它的改进大多使用AlexNet等相对来说深度比较低的CNN结构进行feature extraction，而使用例如ResNet之类深度较深的结构对于Object Tracking任务来说并没有明显的提升。作者经.
2020-06-28 23:50:16
961
原创 Siam Mask
Paper : Fast Online Object Tracking and Segmentation: A Unifying ApproachCode : official摘要作者提出了SiamMask 的结构，可以根据上一帧的bounding box的信息对下一帧的分割掩膜进行预测， 然后再在掩膜的基础上生成该帧对应的bounding box。与其他Segmentation 的方法相比，该结构采用bbox进行mask预测，因此速度会快很多。SiamMask的实现方法比较简单，在SiamRPN.
2020-06-28 20:02:58
656
1
原创 DaSiamRPN
Paper : Distractor-aware Siamese Networks for Visual Object TrackingCode : official摘要作者在做完SiamRPN之后，发现虽然跟踪的框已经回归地比较好了，但是响应的分数仍然相当不可靠，具体表现为在丢失目标的时候，分类的分数仍然比较高。作者认为这主要是由于以下两点造成的正样本种类不够多，导致模型的泛化性能不够强在之前的孪生网络训练中, 负样本过于简单，很多是没有语义信息的，只是单纯的背景因此，作者针对这两个问.
2020-06-24 21:57:17
894
原创 Siamese RPN
Paper : High Performance Visual Tracking with Siamese Region Proposal NetworkCode : unofficial摘要之前在阅读SiamFC的时候就感觉目标追踪与物体检测在候选框生成上可以有很多互相借鉴的地方，而且SiamFC存在两个问题：一个是遍历的方法容易成为时间瓶颈，另一个是定位框处理有点太粗糙了，不仅固定了尺寸还固定了长宽比。在目标检测上提出的RPN迟早要迁移到物体追踪的任务中。因此商汤在CVPR2018中掏出了一篇.
2020-06-24 14:46:01
1313
原创 CFNet
Paper : End-to-end representation learning for Correlation Filter based trackingCode : official摘要本文的主要贡献在于将相关滤波器完美融入到了神经网络中，通过给出正向传播和反向传播的公式使得相关滤波器成为神经网络中可学习的一层。其他的结构继承自Siam-FC，从孪生神经网络和特征提取的结构来说没有什么创新，因此本文着重介绍CF block的形式和反向传播结果。作者发现，对于层数较多的CNN来说CF层的引入.
2020-06-23 23:56:21
341
原创 Visual Object Tracking using Adaptive Correlation Filters
Paper : Visual Object Tracking using Adaptive Correlation FiltersCode :摘要视觉跟踪任务需要在一帧的画面上训练鲁棒的滤波器，并随着目标对象的形变动态适应。作者提出了提供了一种新型的相关滤波器——平方误差最小输出和滤波器(MOSSE)，其可以在初始帧上产生稳定的相关滤波器，并随着光照、尺度、非刚性形变等变化进行动态适应，同时能够达到每秒669帧的速度。是否产生遮挡是根据PSR指数进行判断，跟踪器在对象消失时暂停检测并停止相关滤波器.
2020-06-23 20:55:20
939
原创 SiamFC
Paper : Fully-Convolutional Siamese Networks for Object TrackingCode : official摘要尽管之前有论文尝试将深度卷积神经网络应用到Object tracking 的任务中，但是由于实时性的要求，以及训练数据集的数据存在稀缺性，效果并不是很好。作者针对实时性的限制，提出使用全卷积神经网络进行特征提取，并使用孪生神经网络进行训练，并在ILSVRC15的数据集上进行训练，在VOT ALOV OTB数据集上进行测试。本文主要的贡献点.
2020-06-22 18:39:03
401
原创 Learning to Compare Image Patches via Convolutional Neural Networks
Paper : Learning to Compare Image Patches via Convolutional Neural NetworksCode :摘要个人认为，本文在孪生神经网络上没什么改进点，值得阅读的点是对双通道、孪生神经网络和伪孪生神经网络之间实验效果的比较，但是文章中所提到的在Image Patch Comparison 中引入CNN和SPP Net 感觉不算创新。使用CNN代替传统的人为设计的特征提取方法，例如SIFT或是HOG或是DAISY之类的在2015年基本上都用滥.
2020-06-22 13:15:44
702
原创 Learning a Similarity Metric Discriminatively with Application to Face Verification
Paper : Learning a Similarity Metric Discriminatively, with Application to Face VerificationCode :摘要Yann LeCun 提出的使用CNN进行孪生网络中子网络的特征提取，进行人脸识别的任务。作者认为，相比于其他的算法，Contrastive Loss+CNN的结构适合以下几种任务类别较多，单一类别下训练样本较少的任务训练时不知道具体的类别数，只知道总类别的某个子集个人认为，这篇文章主要贡献有.
2020-06-21 23:07:58
348
原创 Signature Verification using a Siamese Time Delay Neural Network
Paper : Signature Verification using a “Siamese” Time Delay Neural NetworkCode :摘要LeCun在“Signature Verification using a “Siamese” Time Delay Neural Network” 一文中首次提出孪生神经网络的概念。对于孪生神经网络（非伪孪生神经网络），与其说它是一种网络结构，不如说Siamese Network 是一种针对特定任务训练特征提取器的损失函数（类.
2020-06-21 17:24:50
2624
1
原创 Faster R-CNN
Paper : https://arxiv.org/pdf/1506.01497.pdfCode : official摘要Fast R-CNN将多阶段训练合并到单阶段，并将目标检测算法的结构改进为Region Proposal + CNN classifier/regressor的结构。由于Selective Search 算法进行Region Proposal时，SS算法本身并不是深度学习算法，运行在CPU上，因此计算的瓶颈位置在于SS算法上。Faster R-CNN开创性地提出了RPN网络用来.
2020-06-17 15:21:41
123
原创 Fast R-CNN
Paper : Fast R-CNNCode : official摘要Fast R-CNN主要解决的是R-CNN结构中的多阶段训练的问题，R-CNN在训练SVM分类和bounding box回归时，需要从磁盘中读取CNN网络提取出来的特征，在时间和空间消耗上都是非常大的。Object detection的测试过程速度也比较慢。SPP结构只改进了重复卷积问题，但是多阶段训练，需要额外的回归器，特征保存在磁盘上等缺点依旧存在。Fast R-CNN通过对网络结构的修改来解决这些问题，加速训练和测试速度的.
2020-06-16 22:35:41
118
原创 SPPNet
Paper : Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual RecognitionCode :摘要文中作者提出“空间金字塔池化”(spatial pyramid pooling)的池化策略，用来解决卷积神经网络的输入必须是固定大小的图片的限制。SPP-net结构能够产生固定大小的表示，而不关心输入图像的尺寸或比例。金字塔池化对物体形变具有很强的鲁棒性。因此，SPP-net可普遍改进各种基于CNN的图像分类方法。.
2020-06-16 19:45:15
416
原创 R-CNN
Papaer : Rich feature hierarchies for accurate object detection and semantic segmentationCode :摘要R-CNN 是 R-CNN系列(R-CNN，Fast R-CNN，Faster R-CNN等等)系列的第一篇，起到了承上启下的作用。它开创性的将CNN提取图片特征的方式引入到了Object Detection任务当中，但是使用的框架还是传统的检测框架，包括Selective Search 生成候选框，CNN.
2020-06-16 17:14:42
115
原创 Selective Search
Paper : Selective Search for Object RecognitionCode :摘要Selective Search 将
2020-06-16 12:44:14
129
原创 Efficient Graph-Based Image Segmentation
Paper : Efficient Graph-Based Image SegmentationCode :摘要Efficient Graph-Based Image Segmentation 一文是将图片看作是图论中的图进行处理，用到的方法比较简单易懂，涉及到OI/ACM中常见的概念MST，而类MST的算法流程保证算法的时间复杂度为O(n log n)。Efficient Graph-Based Image Segmentation 是在像素级上进行融合，为Selective Search 算法提供.
2020-06-16 10:50:16
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人