一千克欣喜-CSDN博客

原创基于孪生网络的目标跟踪

文章围绕这个问题提出了目标外观变换层和背景抑制层，名字为动态孪生神经网络(Dynamic Siamese Network， DSiam)，即对template image使用目标外观变换层，让其更趋进于当前帧的目标外观，对current image使用背景抑制层，抑制背景带来的跟踪干扰。其网络结构如下图所示，两个输入分别进入两个神经网络，将输入映射到新的空间，形成输入在新空间中的表示，通过损失的计算，评价两个输入的相似度。相比之下，这篇文章在每一帧中计算一个新的模板，然后与之前帧的模板进行融合。

2023-05-24 19:51:23 2392 1

原创 Pytorch损失反向传播后参数梯度为None

错误代码：反向传播后输出factor参数的grad为None factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Parameter(factor).cuda()错误原因：self.factor经过一次.cuda()操作后就不再是叶子结点了。修改后代码： factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Param

2022-04-08 11:04:39 4659

原创常用激活函数理解与总结

什么是激活函数神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。为什么需要激活函数如果没有激活函数，不管神经网络有多少层，输出都是输入的线性组合，这样的神经网络拟合能力有限。而引入非线性的激活函数后，神经网络不再是线性的，而可以逼近任意函数，因此其表达能力会更加强大。常用激活函数常

2021-12-31 13:39:43 780

原创 pytorch优化器

Pytorch 一共有11个优化器，其中比较常用的主要有4种：SGD、Momentum、RMSProp、Adam。SGD实现随机梯度下降。CLASS torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False)参数：params (iterable) –待优化参数的iterable或者是定义了参数组的dictlr (float)

2021-09-27 10:35:13 403

原创因果推理

https://blog.csdn.net/sinat_35177634/article/details/106097910

2021-03-24 16:47:22 636

原创因果推理（十）：Causal Discovery from Observational Data

ding

2021-02-08 12:35:08 5312

原创因果推理（九）：双重差分（Difference-in-Differences）

ding

2021-01-27 00:06:20 3811

原创因果推理（八）：工具变量（Intrusmental Variables）

关于因果关系的识别，前面介绍了一些方法：随机对照试验、后门调整、前门调整、do-演算。今天介绍另一种进行因果效应识别的另一种方法：工具变量。1. 什么是工具变量？上面的因果图中，ZZZ就是一个工具变量，可以利用它在UUU观测不到的情况下计算TTT对YYY的因果效应。工具变量的标准：（Relevance）ZZZ是TTT的直接原因。（Exclusion Restriction）ZZZ对YYY的因果效应由TTT完全介导。（Instrumental Unconfoundedness）ZZZ到YYY没

2021-01-25 13:19:51 5347

原创因果推理（七）：Unobserved Confounding: Bounds and Sensitivity Analysis

上一章的估计过程的一个前提是我们掌握了去混杂的充分调整集。也就是说，我们确定W是一个充分调整集的时候，我们可以用下面的公式计算因果量。然而，很多时候，可能会存在没有被我们观测到的混杂因素，比如上图中的U。在这种情况下，我们需要同时对W和U进行调整，但由于我们没有观察到U，势必不会调整U，这就使得我们的估计结果产生了误差。这一章，我们将探讨这个误差的大小及其对整个结果的影响。1. Bounds在因果推理中，我们定义了一个很强的假设“Unconfoundness”，满足unconfoundness，

2021-01-23 12:19:47 1308

原创因果推理（五）：随机试验和可识别

上次介绍了identification的方法——后门调整。但后门调整不是实现identification的唯一方法，这次会介绍identification的其他方法。1. 随机试验的神奇之处随机意味着协变量平衡协变量平衡：协变量X再干预组和对照组中的分布相同，那么就说协变量平衡。即：P(X∣T=1)=dP(X∣T=0)P(X \mid T=1) \stackrel{d}{=} P(X \mid T=0)P(X∣T=1)=dP(X∣T=0)因为随机实验中T的取值完全不取决于X，而是随机决定的，于是有

2021-01-21 22:04:32 1894

原创【论文笔记】Interventional Few-Shot Learning

概述目前流行的meta-learning、fine-tuning等小样本学习方法都利用外部知识进行预训练，以使模型在小样本上有好的效果。而预训练知识很可能会成为影响样本特征与标签之间的关系的混杂因素，使模型得到错误的结果。研究目标问题陈述few-shot learning典型的few-shot learning：在 NNN-shot support set SSS上训练 KKK-way 分类器，其中NNN代表每个类中的训练样本数，这个数字很小（如NNN=1或5）；然后再 query set QQQ

2021-01-21 13:13:22 2233 1

转载流形学习（Manifold Learning）

https://www.cnblogs.com/jiangxinyang/p/9314256.html1、什么是流形流形学习的观点：认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上这些数据只要比较低的维度就能唯一的表示。所以直观上来讲，一个流形好比是一个d维的空间，在一个m维的空间中（m>d）被扭曲之后的结果。需要注意的是流形并不是一个形状，而是一个空间。举个例子来说，比如说一块布，可以把它看成一个二维的平面，这是一

2021-01-20 21:10:18 5009

原创【论文阅读】How transferable are features in deep neural networks?

概述研究目标/问题陈述训练在图像上的深度神经网络，往往前面一层或几层学到的特征都是类似Gabor filters or color blobs的特征（作者叫它们first-layer features），这些特征是所有图像所共有的特征（作者叫它general）。而相对的，last-layer features 是 specfic 的。通常，越general的特征就越适合用来迁移。作者想要做的事情是量化神经网络每一层提取的特征的general程度。同时，从first-layer feartures g

2021-01-10 11:44:06 1015

原创因果推理（六）：estimation

前面几讲都专注于上图中Identification的部分，这次介绍Estimation。条件结果模型（conditional outcome modeling, COM）提高数据效率倾向得分（propensity scores）和 IPW其它因果估计的方法

2020-12-28 10:47:23 1262 3

原创 KL 散度

定义所谓KL散度，是指当某分布q(x)被用于近似p(x)时的信息损失。也就是说，q(x)能在多大程度上表达p(x)所包含的信息，KL散度越大，表达效果越差。信息熵KL散度来源于信息论，信息论的目的是以信息含量来度量数据。信息论的核心概念是信息熵(Entropy)，使用H来表示。概率论中概率分布所含的信息量同样可以使用信息熵来度量。如果式中的log以2为底的话，我们可以将这个式子解释为：要花费至少多少位的编码来表示此概率分布。从此式也可以看出，信息熵的本质是一种期望。KL散度的由来当

2020-12-23 22:12:41 407

原创因果推理（四）：因果模型

因果模型对于因果量的确定是很重要的。在前面的学习中，我们将“确定”（identification）描述为将因果估计转换为统计估计的过程。确定-估计（Identification-Estimation）的流程如下图：1. Do-算子和干预（interventional）分布首先需要区别给定条件（condition）和干预（intervention）的概念。给定条件T=t的意思是我们只看在总体中treatment为t的子集；而intervention的意思是将总体中左右个体的treatment设为t。我们

2020-12-23 13:26:58 7072

原创因果推理（三）：关联和因果在因果图中的流动

1. 贝叶斯网络和因果图2. 图的基本结构块3. 关联及因果关系的流动（The flow of association and causation）

2020-12-20 16:14:15 2253

原创 Directed Graphical Models

https://personal.utdallas.edu/~nrr150130/gmbook/bayes.html图形模型提供了联合概率分布的底层结构的可视化表示。正如我们将在下面看到的，这个结构编码了随机变量之间条件独立关系的信息。回想一下，这种独立关系对于理解与给定联合概率分布的表示和推理相关的计算成本非常重要。我们的第一个目标是用这个模型来回答一些简单的问题，例如，“随机变量XA独立于随机变量XB，是否取决于随机变量XC？”或者，“随机变量XA和XB是独立的吗？”虽然这些问题看起来很简单，但到目前

2020-12-20 16:09:44 615

原创因果推理学习笔记（一）

因果推理（Causal Inference）：Inferring the enfects of any treatment/policy/intervention/etc.因果推理就是推断一个事物对另一个事物的影响。1. 辛普森悖论说（Simpson’s paradox）当人们尝试探究两种变量是否具有相关性的时候，会分别对之进行分组研究。然而，在分组比较中都占优势的一方，在总评中有时反而是失势的一方。以下是一个辛普森悖论的例子。存在一种疾病，患病人的状况分两种，该病的治疗方式有两种，治疗结果有两种

2020-12-03 11:22:11 2911 5

原创互信息

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。设两个随机变量(X,Y)(X,Y)(X,Y)的联合分布为p(x,y)p(x,y)p(x,y)，边缘分布分别为p(x)p(x)p(x), p(y)p(y)p(y)，互信息I(X,Y)I(X,Y)I(X,Y)是联合分布p(x,y)p(x,y)p(x,y)与边缘分布p(x)p(x)p(x), p(y)p(y)p(y)的

2020-12-01 21:25:14 110

原创因果推理（二）：潜在结果（Potential Outcomes）

1. 什么是潜在结果潜在结果是指接受潜在治疗的个体的结果。对于该个体，治疗的因果关系是个体接受治疗的潜在结果与未接受治疗的潜在结果之间的差异。2. 因果推理的基本问题数据缺失。以药丸对头痛的治疗效果为例，因果关系为：Yi(1)−Yi(0)Y_i(1)-Y_i(0)Yi(1)−Yi(0) ，其中，Yi(1)Y_i(1)Yi(1)代表吃药的潜在结果，Yi(0)Y_i(0)Yi(0)代表不吃药的潜在结果。但通常，对于特定的一个人，吃药时只能得到Yi(1)Y_i(1)Yi(1)，不吃药时只能

2020-12-01 14:36:43 5587

原创图神经网络（GNNs）综述

图神经网络（graph neural networks， GNNs）是为了解决传统机器学习只能处理欧几里得空间的数据的问题而产生的用于图（gragh)数据的神经网络。目前现有的GNN可分为四类：递归GNN，卷积GNN，图自动编码器和时空GNN。一、简介1. 分类（1）递归GNN（Recurrent Graph Neural Networks）：递归GNN属于最早的GNN，旨在通过递归神经体系结构学习节点表示。他们假设图中的一个节点不断与其邻居交换信息或消息，直到达到稳定的平衡。（2）卷积GNN（C

2020-11-24 22:43:28 4131 1

转载 TransE

转自：http://blog.csdn.net/u011274209/article/details/50991385一、引言网络上已经存在了大量知识库（KBs），比如OpenCyc，WordNet，Freebase，Dbpedia等等。这些知识库是为了各种各样的目的建立的，因此很难用到其他系统上面。为了发挥知识库的图（graph）性，也为了得到统计学习（包括机器学习和深度学习）的优势，我们需要将知识库嵌入（embedding）到一个低维空间里（比如10、20、50维）。我们都知道，获得了向量后，就可以

2020-11-20 21:52:37 377

原创链码直方图（chain code histogram CCH，CCH）

链码直方图（CCH）是一种用来表示物体轮廓信息的方法，旨在将人眼看起来相似的对象分组在一起。它并不用于精确的检测和分类任务。方向链码（Freeman链码）是用来表示物体轮廓的典型链码表示法。一条链是n个链码是一个有序序列{ci,i=1,2,..,nc_i, i=1,2,..,nci,i=1,2,..,n}，其中iii为像素的索引值，cic_ici是由像素(iii)指向像素(i+1i+1i+1)的方向链码。每个链码cic_ici的方向用整数值k=0,1,..,K−1k=0,1,..,K-1k=0,1

2020-11-16 21:22:11 898

转载 GCN

https://www.zhihu.com/question/54504471/answer/332657604

2020-10-23 22:21:48 87

原创【论文阅读】Learning Convolutional Neural Networks for Graphs

出版：ICML 2016原文：http://211.81.63.130/cache/2/03/proceedings.mlr.press/cb5795e96aa42362f86e2ba3a13c32af/niepert16.pdf卷积神经网络（CNN）可以提取图像像素点邻域的信息，从而抽取空间特征。而CNN处理的图像数据中像素点是排列成整齐的矩阵的，也就是Euclidean Structure结构。而对于graph这种拓扑结构，每个结点的度都不一样，原始的CNN就没办法处理了。这篇论文就提出了一种一般性

2020-10-23 21:58:19 525

原创 CNN卷积神经网络及其在NLP自然语言处理中的应用（一）

由于可以有效地进行特征提取，卷积神经网络（CNN）已经被广泛地应用于计算机视觉、自然语言处理等领域。之前仅在图像的分类和识别中用过CNN，且对CNN的理解较为浅显。现在重新学习卷积神经网络，并重点学习其在NLP领域的应用。特此记录。参考：https://blog.csdn.net/jiaoyangwm/article/details/80011656一、卷积神经网络首先从卷积神经网络的概念、发展历史、网络构架、常见网络等方面学习卷积神经网络。1、卷积神经网络的概念深度学习的概念提出后，由于可以使用

2020-10-09 09:31:43 7226 3

转载目标检测之 IoU

IoU 作为目标检测算法性能 mAP 计算的一个非常重要的函数。但纵观 IoU 计算的介绍知识，都是直接给出代码，给出计算方法，没有人彻底地分析过其中的逻辑，故本人书写该篇博客来介绍下其中的逻辑。1. IoU的简介及原理解析IoU 的全称为交并比（Intersection over Union），通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。开始计算之前，我们首先进行分析下交集和并集到底应该怎么计算：我们首先需要计算交集

2020-09-29 15:59:57 362

原创 AI2D-RST数据集介绍

AI2D-RST是一个包含了1000种英语图表的多模态语料库，语料库中的图表用来表示一些小学自然科学的主题，例如食物网、生命周期、月相及人类生理等。这个多模态语料库被用来进行图像自动理解和视觉问题回答方面的研究。多模态结构图中的注释由专家标注，描述了（1）图元素分组成的感知单元，（2）利用线条、箭头等建立的元素之间的联系和（3）元素之间话语标记的关系。AI2D数据集AI2D图表建立了4种类型的图标元素：‘blobs’，written text，arrows和arrowheads。在AI2D的布局分割

2020-09-24 10:10:11 782

空空如也

空空如也