hei653779919的博客

图网络算法—变量消元与团树传播(精确推理)1 概率图中的推理问题首先，给定的联合概率分布：p(x)=p(x1,x2,...,xn)=1Z∏cφ(Xc)p(x)=p(x_1,x_2,...,x_n)=\frac{1}{Z}∏_cφ(X_c)p(x)=p(x1​,x2​,...,xn​)=Z1​c∏​φ(Xc​)这里Z表示的是归一化因子，XcX_cXc​表示的是所有随机变量的一个子集，φ表示的是势函数。对于这一部分的理解，我在之前的博客中给出了叙述，感兴趣的读者可以参考我之前的文章。根据上述的联合概率

图网络算法—马尔科夫随机场与因子图在之前的文章中，我们重点介绍了概率图的基本概念与基本定理，感兴趣的读者可以参考我前一篇文章图网络算法——概率图介绍与贝叶斯网络。其中贝叶斯网络是一种比较典型的有向概率图模型。在下面的文章中，我们将来介绍无向概率图的一个代表模型，即马尔科夫随机场。进一步，我们将来介绍因子图的相关概念与基本形式。1. 马尔科夫随机场(MRF)1.1 马尔科夫随机场引入首先，与贝叶斯网络这种有向概率图的一个重要区别是，马尔科夫随机场是一类无向的概率图模型。其基本的组成是G(V,E)G(V

图网络算法——概率图综述1 概率论回顾在介绍概率图之前，我们先来回顾一下概率论中的相关的知识。样本空间(Ω)： 样本空间描述的是一个随机试验中所有可能输出的集合。比如我们随机抛了一千次硬币，那么我们就可以获得一千次的结果，这一千个结果就构成了样本空间。样本空间中的每一个结果，我们称之为一个样本点。随机事件： 在样本空间中，某些样本点组成了一个随机事件，即随机事件是样本空间的一个子集。随机事件之间可能存在的关系：包含关系：即A⊂BA⊂BA⊂B，则事件A发生必然会导致事件B发生。相等关系：即A

元学习—基于元学习的上下文快速适应(Fast Context Adaptation via Meta-Learning)1 介绍机器学习中的快速适应指的是使用少量的数据在之前未见的任务上进行快速的学习。原则上，可以利用之前的一些相关的任务所获取的一些知识来完成这个挑战。然而，如何选择一个最好的方式，目前仍然是一个没有被解决的问题。我们对于利用元学习来解决快速适应的问题十分的感兴趣，即通过少量的样本在未见的任务上进行学习。一个快速适应的方法是使用基于梯度的方法，在测试的时候，定义一个具体的与任务相关的损

元学习—对抗式元学习(ADML)在之前的文章中，我们介绍了MAML模型，有兴趣的读者可以参考元学习—模型不可知元学习(MAML）。在下面的文章中，我们将介绍MAML模型在对抗式学习中的应用，即MAML模型的一个变体ADML模型。1 FGSM方法在对抗式的学习中，需要同时使用到真实样本和对抗样本。对于对抗样本的生成，有很多种方法，我们下面来看其中的一种方法，即基于梯度的攻击算法(FGSM)。一般情况下，我们会计算模型参数的梯度值来更新模型参数，以求得使得模型的Loss最小，在FGSM中，为了获取对抗样

元学习—MAML模型Pytorch实现之前，我们介绍了MAML模型的基本原理和基本流程元学习—模型不可知元学习(MAML），这里简单的从零开始来实现一个MAML模型。这里我们通过随机生成数据来定义十个回归任务，其中每一个回归任务的训练样本数量和测试的样本数量均为10个。为了便于展示，这里采用的单层神经网络来实现每一个回归任务。具体可以参考下面的代码展示。1 代码展示#encoding=utf-8import torchimport torch.nn as nnimport torch.optim

元学习—模型不可知元学习(MAML)在之前的文章中，我们介绍了神经图灵机和记忆增强网络(MANN)，主要介绍了其对于内存中信息的读取与写入。有兴趣的读者可以参考我之前的博客元学习—神经图灵机。在今天的文章中，我们来介绍一种更加常见的元学习的学习方法，即模型不可知元学习。1. MAML原理1.1 MAML引入MAML是一种最近被提出的，最为主流的一种元学习的方法。其是元学习上的一个重大突破。在元学习中，众所周知，其目标是学会学习。在元学习中，我们从大量的相关学习任务中获取一小部分的样本点，然后通过元学

元学习—高斯原型网络实现(Pytorch)原理部分可以参考我之前的博客，元学习—高斯原型网络，本文在实现过程中，采用了基于半径的置信度计算，对于逆矩阵采用的softplus的计算方式。以评论文本分类作为基础任务，使用LSTM作为原型网络中的编码函数。下面给出具体的代码实现：1. 数据处理部分(utils.py)#encoding=utf-8'''以评论文本为例，进行计算。'''import torchimport torch.nn as nnimport numpy as npimpor

元学习—半监督原型网络本文主要参考文献META-LEARNING FOR SEMI-SUPERVISED FEW-SHOT CLASSIFICATION，有兴趣的读者可以参考该文献。1 介绍大量的可用数据可以使得深度学习模型在很多人工智能任务上取得非常不错的效果。例如，语音识别，物体识别，和机器翻译等等。然而，当前的深度学习方法面临着数据缺少的问题。具体的，当前的多数方法都擅长处理拥有大量数据的单个任务。这些方法能够利用仅仅缺少一点标签的数据来处理大量的任务。另外一个方面，人类很容易去学习到一个新的类

知识图谱—大规模网络编码(LINE模型)本文主要是对于LINE：Large-scale Information Network Embedding的翻译，有兴趣的读者可以参考原始文献。1 背景介绍信息网络在现实世界中是无处不在的，例如航线网络，出版网络，社交网络等等。这些信息网络的规模从几百个节点到百万，千万个节点的规模。 分析大规模的信息网络在学术界和工业界受到了广泛的关注。本文章主要关注于信息网络在低维空间中的编码问题。网络中的每一个节点使用一个低维的向量进行表示。这样的低维编码在下游的应用中，例

元学习—高斯原型网络本博客源于文献《Gassian Prototypical Networks for Few-Shot Learning on Omniglot》，只选择的有关模型描述的部分进行了翻译，有兴趣的读者可以进行参考全文。同时，该文章没有仔细的介绍原型网络的基本结构，有兴趣的读者可以参考我的另外一篇博客元学习——原型网络(Prototypical Networks)1 背景介绍1.1 高斯原型网络引入在本篇文献中，我们基于原型网络提出了一个新的结构，并且将其在Omngilot数据集上进行

元学习——原型网络(Prototypical Networks)1. 基本介绍1.1 本节引入在之前的的文章中，我们介绍了关于连体网络的相关概念，并且给出了使用Pytorch实现的基于连体网络的人脸识别网络的小样本的学习过程。在接下来的内容中，我们来继续介绍另外一种小样本学习的神经网络结构——原型网络。这种网络的特点是拥有能够不仅仅应用在当前数据集的泛化分类能力。在接下来的内容中，我们将介绍以下几个内容：原型网络的基本结构。原型网络算法描述。将原型网络应用于分类任务。高斯原型网络结构以及算法

文献记录—通过知识迁移的图小样本学习1 摘要对于图的半监督学习已经提出了很多的研究方法。类似于GNN类方法，通过聚合节点周围节点的信息来更新节点的表示，已经取得了非常不错的效果。但是，大多数的GNN类方法，都是通过在一个限定的局部区域内，利用浅层的神经网络进行信息聚合。当有标签的节点数量很少的时候，这种方法的效果并不是太好。为了缓解这个问题，我们的一个创新点是提出了一个图的小样本学习方法GFL，包括了从辅助图中学习的先验知识来提高分类的效果。具体的，一个可迁移的度量空间可以通过一个节点的编码来表示，并且

知识图谱—知识推理综述(三)接上一篇文章知识图谱—知识推理综述(二)3 基于表示的知识推理3.1 方法简述在之前所介绍的知识推理中，都显示的定义了知识推理所需要的规则，条件等等离散符号。而在基于表示的知识推理中，我们第一步是将知识图谱中的节点和关系进行连续向量空间的映射，需要将其物理表示映射为数值表示，然后在利用数学中的相关算法，通过数值计算的方式进行知识推理。对于映射的向量空间而言，其可以是一个或者多个的向量或者矩阵。基于表示的推理的核心在于“如何表示”，在表示学习的过程中，我们需要的是让算法自

元学习—神经图灵机1 神经图灵机神经图灵机(NTM)是一类能够从内存中存储和恢复信息的一个算法。神经图灵机的基本思路在额外的内存空间中增加神经网络，而不是通过增加隐藏单元 ，NTM使用一个额外的内存来存储和恢复信息。NTM的整体结构如下图所示：1.1 NTM的基本组成控制器： 这是一个基础的前馈神经网络或者递归神经网络，其主要负责从内存中读取信息或者想内存中写入信息。内存： 内存通常以内存矩阵或者内存池的形式进行展现。我们将在内存中存储信息。一般情况下，内存是通过两个维度的矩阵所构成，矩阵中的每

知识图谱—知识推理综述(二)本文接上一篇博客知识图谱—知识推理综述(一)2 基于传统方法的推理2.2 基于图结构的推理2.2.1 引入在知识图谱中，如果是自下而上的进行构建，那么最终图谱将以一个有向图的形式进行呈现。图中的节点表示的是实体或者实体的属性值，有向图的边表示的是不同实体之间的关系，或者实体和其属性值之间的属性关系。有向图的结构可以很好的反应知识图谱的语义信息。当进行推理的时候，可以从图谱中的一个点进行出发，沿着有向边到达其他节点。从而形成一条推理路径。举一个例子来说： 小明——>

知识图谱—知识推理综述(一)1 知识推理的概念以及分类1.1 知识推理的基本概念所谓的知识推理，就是在已有知识的基础之上，推断出未知的知识的过程。通过从已知的知识出发，通过已经获取的知识，从中获取到所蕴含的新的事实，或者从大量的已有的知识中进行归纳，从个体知识推广到一般性的知识。根据上面的概念的描述，我们可以知道，对于知识推理而言，其包括的内容可以分为两种，第一种是我们已经知道的，用于进行推理的已有知识，另外一种是我们运用现有的知识推导或者归纳出来的新的知识。对于知识而言，其形式是多种多样的，可以是

元学习—关系网络实现原理部分已经在元学习—关系网络和匹配网络中讲述，这里不再赘述，实验包括了one-shot学习，few-shot(few=5)学习的两种学习过程。原始样本通过随机产生，类别一个有两个，损失函数使用的是均方误差的方式。具体的代码如下：1 One-Shot学习#encoding=utf-8import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimimpor

元学习—关系网络和匹配网络1 关系网络(Relation Network)1.1 关系网络的基本函数一个关系网络至少需要包含两个核心的函数，第一个核心的函数是编码函数f，该函数经支持集(Support Set)和查询数据(Query data)进行编码，用于后续的数据计算。其次，一个关系网络至少还需要包括一个关系函数g，而关系函数的作用则为根据查询数据和支持集中各个分类的相关性来决定查询点的最终分类。下面，我们以一个one-shot的图片分类学习过程为例，即support set中各个分类的样本数量

文献阅读——Revisiting Semi-Supervised Learning with Graph Embeddings1 背景介绍半监督学习的目标是利用未标记的数据来提升模型的效果。大量的半监督学习算法共同优化两个训练时的目标函数。包括基于已标记数据的监督学习损失和基于已标记和未标记数据的半监督学习的损失。基于图的半监督学习的损失以一种对于监督学习的损失和图的拉普拉斯正则化项的加权求和的形式来定义。图的拉普拉斯正则化是基于相邻节点之间拥有相同标签的结构的假设来定义的。图的拉普拉斯正则化因为约束了