- 博客(64)
- 收藏
- 关注
RSS订阅原创 视频分类的类间和类内关系——正则化
Abstract 本文提出了一个新的框架，联合学习特征关系并利用类关系来提高视频分类性能。具体而言，这两种类型的关系是通过在深度神经网络（DNN）中严格实施正则化来学习和利用的。 贡献：我们建议对DNN中的融合层进行结构正则化，以识别多个特征的相关性，同时保持其多样性。这种独特的能力使所提出的方法不同于大多数现有的工作，这些工作通常采用浅层融合过程，而不考虑对特征相关性的深入探索。 我们还建议通过对DNN的输出层施加类似的结构正则化来探索类间关系。因此，跨功能和类间关系都是在一个统一的框架..
2022-05-27 15:18:00
683
原创 Learning Representations For Images With Hierarchical Labels(五)
Chapter 5 方法：基于保序嵌入的模型5.1 余弦嵌入图5.1.利用改进的逐层模型的潜在空间提取标签嵌入。在原始模型的最后一层之后添加一个附加层。该模型的训练方式与L-Ni-way分类器完全相同。标记为N×Li的层的权重保持了这里标记的N维表示，N=2，但是它可以扩展到任何N维嵌入空间。 对于余弦嵌入，我们从训练用于图像分类的CNN的潜在空间中提取标签表示。学习到的表示是模型仅为图像分类而明确训练的副产品。需要注意的是，余弦嵌入不一定是保序的，但在本章中与所有其他基于嵌入的模型一起.
2022-04-10 15:45:58
3313
原创 Learning Representations For Images With Hierarchical Labels(四)
Chapter 4 实证分析：将标签层次结构注入CNN分类器在本章中，我们描述了用于评估我们帮助分类器利用标签层次结构的方法的数值实验。在讨论实验细节之前，我们将讨论在不同模型之间比较性能指标的选择。4.1 性能指标为了量化性能，我们使用微观和宏观平均分数。尽管微积分的贡献与类别规模成比例，但最终却掩盖了不太频繁出现的类别。这样的模式在很大程度上是具有层次标签的数据集的一部分，因为层次结构的更高级别的类抽象了它们的后代，与下面的类相比，具有更多的样本，而层次结构的叶节点具有最少的样本数。相比之下
2022-04-10 15:13:43
1505
原创 Learning Representations for（三）
Chapter 3 方法：将标签层次结构注入CNN分类器在本章中，我们提出了基于CNN的模型，使用卷积层来提取视觉特征和分类图像。CNN本身的体系结构没有被修改，而是更多地关注如何使用不同的概率分布公式（跨标签）来增量地向模型传递更多关于标签层次结构的信息。本章详细描述了5个模型，其中第一个模型是对标签层次结构中的任何信息都不可知的基线。其余4个模型逐渐向模型提供更多信息，例如层次结构中的层数和不同标签之间的边。3.1 层次不可知分类器作为baseline，我们使用了最先进的卷积神经网络（CNN
2022-04-10 14:27:30
3471
原创 Learning Representations For Images With Hierarchical Labels(一、二)
1 Introduction1.1 Motivation这项工作试图利用分层标签形式的语义信息。作者提出，当提供这样的指导时，视觉模型的性能优于层次不可知的模型。作者还展示了如何通过使用更明确的表示模型（如Embedding）来实现图像分类任务，从而提高这些模型的可解释性。1.1.1 利用标签之间的相互关系这种模型仅根据视觉信号进行分类。这些模型只捕获标签-图像的相互关系，不使用有关标签间交互的其他可用信息，这些信息可以提高性能，并使模型更易于理解。1.1.2 长尾数据分布数据分..
2022-04-07 18:06:44
2730
原创 搭建深度学习网络时常用的一些pytorch函数：view(),softmax(),FloatTensor(),zero_(),scatter_(),gather(),sum(),clamp(),log
目录torch.view()torch.nn.functional.softmax()torch.FloatTensor()torch.Tensor.zero_()torch.Tensor.scatter_()torch.gather()torch.sum()torch.clamp()torch.log()参考pytorch说明文档：torch文档torch.view()返回一个数据相同但大小不同的tensor。 返回的tensor必须有与原te...
2022-04-06 18:23:16
1129
原创 Destruction and Construction Learning
本文的主要工作是什么？提出了一种“破坏与构造”学习方法，除了标准的分类主干网络之外，还引入了一个“破坏与构造”流，先“破坏”再“重建”图像，学习有区分度的区域和特征。具体来说，“破坏”就是首先将输入图像划分为局部区域，然后通过区域混淆机制（RCM）对它们进行打乱。为了正确识别这些被破坏的图像，分类网络必须更多地关注有区分度的区域，以发现差异。为了补偿RCM引入的噪声，采用对抗性损失来抑制RCM引入的噪声模式，以区分原始图像和被破坏图像。而“构建”就是，遵循区域对齐网络，试图恢复局部区域的原始空间
2022-04-06 16:47:13
1533
原创 Fine-grained visual classification via progressive multi-granularity training of jigsaw patches
1 Introduction早期的工作主要是在人工注释的帮助下发现有区别的区域[2,21,34,37,16]。然而，人工注释很难获得，而且往往容易出错导致性能下降[38]。因此，研究重点已转移到仅给出类别标签的弱监督训练模型[38,35,31,4]。这些模型背后的成功在很大程度上归功于能够定位更具辨别力的局部区域进行下游分类。然而，对于（i）哪些粒度是最具辨别力的局部区域，例如鸟的头部或喙，以及（ii）如何将不同粒度之间的信息融合在一起以达到分类精度，例如头部和喙可以组合在一起，我们几乎没有或几乎没有做
2022-04-01 17:34:52
968
原创 pytorch ImageFolder和DataLoader加载数据集
torchvision.datasets中包含如下数据集：MNIST COCO LSUN Classification ImageFolder Imagenet-12 CIFAR-10,CIFAR-100 STL10MNISTdset.MNIST(root, train=True, transform=None, target_transform=None, download=False)参数说明：- root :processed/training.pt和proces...
2022-03-30 13:28:48
3017
原创 基于层次语义嵌入的细粒度表示学习与识别
摘要摘要部分介绍了一下层次语义相关性在目前的细粒度识别研究中往往被忽视，这里举了一个例子：鸟类可以根据目、科、属和种的四个层次进行分类。这种层次结构编码了不同级别的不同类别之间的丰富相关性，可以有效地规范语义空间，从而减少预测的模糊性。 在这项工作中，通过开发一种新的层次语义嵌入（HSE）框架，研究同时预测层次结构中不同级别的类别，并将这种结构化的相关信息集成到深度神经网络中。具体而言，HSE框架按顺序预测层次结构中每个级别的类别得分向量，从最高到最低。在每一级，它都将更高级别的预测得分向量作为先.
2022-03-26 14:42:56
4170
1
原创 node2vec：网络特征学习
node2vec是一个用于图表示学习的算法框架。给定任何图，它可以学习节点的连续特征表示，然后可以用于各种下游机器学习任务。从下图中我们可以观察到，节点u和节点s1属于相同的紧密联结社区，u和s6在这两个不同的社区中扮演相同的结构角色——中心节点。现实世界的网络通常表现出这种混合。因此，必须考虑一种灵活的算法，该算法可以学习遵守两个原则的节点表示：将来自同一网络社区的节点紧密嵌入在一起的表示的能力 共享相似角色的节点具有相似的embedding这将允许特征学习算法在广泛的领域和预测任务中推广。
2022-01-11 16:35:50
537
原创 Plotly可视化学习（一）
散点图Plotly Express可以用于很多种类型的数据。import plotly.express as pxx,y是类array格式的数据时fig = pix.scatter( x = [0,1,2,3,4], y = [0,1,4,9,16])fig.show()x,y是pandas 的 DataFrame的column时df = px.data.iris()fig = px.scatter( df, x = "sepal_w
2021-12-13 15:38:24
1804
翻译 python igraph函数和类的用法教程
官方API一、启动igraph将igraph的对象和方法导入，要检查igraph的版本，就可以执行以下操作：import igraphprint(igraph.__version__)或将其所有的对象和方法导入主python命名空间from igraph import *二、创建图表创建一个空的无向图，并将其分配给变量gg = Graph()添加顶点，add_vertices()方法将给定数量的顶点添加到图中。g.add_vertices(3)现在获..
2021-12-11 11:09:35
1242
原创 【无标题】
摘要 虽然成功估计照片的地理位置可以实现许多有趣的应用，但这也是一项非常具有挑战性的任务。由于问题的复杂性，大多数现有方法仅限于特定区域、图像或全球地标。只有少数提案预测GPS坐标没有任何限制。在本文中，我们介绍了几种深度学习方法，它们采用后一种方法，并将地理定位视为一个分类问题，其中地球被细分为地理单元。我们建议利用多重分割的层次知识，并额外提取和考虑照片的场景内容，即室内、自然或城市环境等。因此，卷积神经网络的学习过程中包含了不同空间分辨率的上下文信息以及各种环境的更具体特征。在两个基准上的实验结.
2021-11-27 19:05:28
1861
原创 Embedding Label Structures：细粒度特征表示的标签结构嵌入
文章解决什么问题？现有方法很少关注到结构性的特征表示。为了获得细粒度特征表示，一种方法是学习相似性度量，但是这种方法受到两个限制：1）分类精度可能比不上在分类loss上微调的深度模型，收敛速度慢，2）没有利用标签的结构 针对这个问题，文章的贡献：1）一个多任务深度学习框架，在不需要牺牲分类精确度的前提下，有效地学习细粒度特征表示。具体来说，我们在CNN中联合优化分类loss（即softmax）和相似性loss（即：triplet），这既可以产生分类结果，也可以产生具有区分度的特征表示。2）此外，基于这个框
2021-11-13 22:04:12
3004
原创 地理感知的网络
摘要 细粒度识别根据细微的视觉差异来区分类别。为了区分这些具有挑战性的视觉类别，利用其他信息是很有帮助的。地理定位是一个丰富的附加信息源，可用于提高细粒度分类精度，但尚未得到研究。我们对这一领域的贡献是双重的。首先，据我们所知，这是第一篇系统地研究了通过使用地理定位先验、后处理或特征调制将地理定位信息纳入细粒度图像分类的各种方法的论文。其次，为了克服没有细粒度数据集具有完整地理位置信息的情况，我们发布了两个具有地理位置信息的细粒度数据集，为现有的流行数据集（iNaturalist和YFCC100M）..
2021-11-11 21:17:23
2664
1
原创 Resnet残差网络学习
动机：深度学习过程中，网络层数增加面临三个问题——计算资源的消耗，梯度消失/爆炸，网络退化。计算资源的消耗问题可以通过GPU集群来解决，梯度消失和爆炸的问题很大程度上已经被标准初始化/中间层正规方法控制了，这些方法使得深度神经网络可以收敛。网络退化指的是：随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降。网络退化不是过拟合造成的。它是不符合常理的，因为假设一个K层的目前最优网络f，那么可以构造一个更深的网络，它的最后几层是网络f的第K层输出的恒等映射（Identity Mapping），就可..
2021-11-05 15:00:12
1343
原创 LIO pipeline：在目标识别中关注结构信息
摘要 大多数物体识别方法主要关注于识别的视觉模式，而忽略了物体的整体结构。虽然结构建模很重要，但通常需要大量的手工注释。在本文中，我们提出，通过将自监督纳入传统框架来“观察对象”（但本质上是对对象结构建模）。我们表明，识别backbone可以大大增强，以实现更健壮的表示学习，而不需要额外的注释和推理速度。具体来说，我们首先提出了一个对象范围学习模块，用于根据同一类别中实例之间共享的视觉模式来定位对象。然后，我们设计了一个空间上下文学习模块，通过预测范围内的相对位置来建模对象的内部结构。在训练期间，这两.
2021-11-01 21:28:39
336
原创 用于图像识别的局部关系网络
Local Relation Networks for Image RecognationICCV 2019摘要 多年来，卷积层一直是计算机视觉领域中主要的特征提取方法。 然而，卷积中的空间聚合基本上是一个模式匹配过程，它使用固定的滤波器，在建模不同空间分布的视觉元素时效率很低。这篇文章提出了一个能够基于局部像素对的组合关系自适应确定聚合权值的图像特征提取方法，称作局部关系层。使用这种关系方法，它可以以一种更有效的方式将可视化元素组合到更高级的实体中，这有利于语义推理。在像ImageNet分类这..
2021-10-31 16:25:48
528
原创 随机part交换：细粒度识别的增强模型泛化和可解释性
摘要学习用于细粒度识别的中级表征很容易被数量有限的区分度模式所控制，从而降低其鲁棒性和泛化能力。为此，我们提出了一种新的随机部分交换（SPS）方案来解决这个问题，对样本之间的部分特征进行元素交换，以在训练期间注入噪声。它具有类似于Dropout（什么是Dropout）的正则化效果，这促进了更多的神经元来表示概念。此外，它还显示出其他优点：1）抑制对某些部件模式的过度激活，以提高特征的代表性；2）丰富模式组合并模拟噪声情况，以增强分类器的泛化能力。我们通过四个网络主干和三个细粒度数据集的综合实验验证了..
2021-10-28 21:50:59
2065
原创 用于细粒度图像分类的通道交互网络
作者：Yu Gao, Xintong Han, Xun Wang, Weilin Huang∗, Matthew R. Scott机构：码隆科技（深圳）文章提出了什么问题？文章用什么模型来解决问题？摘要 细粒度图像分类由于类内微小的差异而具有挑战性。我们假定利用通道之间丰富的关系可以帮助捕获这些差异，因为不同的通道对应不同的语义。在这篇文章中，我们提出一个通道交互网络（CIN），它对图像内部和图像之间的通道交互进行了建模。对于单个图像，提出了一个自通道交互（SCI）模块来探索图像中的通.
2021-10-23 17:29:43
3643
原创 一种水下鱼类图像特征学习与目标识别框架
摘要 活鱼识别是快速获取大量数据的渔业调查应用中最关键的元素之一。与一般场景不同，水下图像识别面临的挑战是图像质量差、目标和环境不可控以及难以获取代表性样本。此外，大多数现有的特征提取技术由于涉及人的监督而阻碍了自动化。为此，我们提出了一个水下鱼类识别框架，该框架由完全无监督的特征学习技术和容错分类器组成。基于显著性和松弛标签初始化对象部分，以正确匹配对象部分。然后根据适应度、分离和判别标准学习非刚性零件模型。对于分类器，无监督聚类方法生成二元类层次结构，其中每个节点都是一个分类器。为了利用模糊图像中.
2021-10-21 21:20:48
3441
2
原创 FineGAN：细粒度对象生成和发现的无监督层次解耦
摘要 我们提出一个新颖的无监督GAN框架FineGAN，它能够解耦背景、对象形状和对象的外观来层次地生成细粒度对象分类的图像。为了不使用监督来解耦这些变量，我们的核心思想是使用信息原理来将每个变量和一个隐编码相关联，用一个特定的方法来训练这些编码之间的关系，以诱导需要的层次。通过大量的实验，我们证明FineGAN达到了期望的解耦，生成细粒度类别的鸟类、狗和汽车的真实和多样的图像。利用FineGAN的自动学习特征，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现这一新问题的首次尝试。我们的co.
2021-10-21 14:51:08
1133
原创 三线性注意力采样网络——用于细粒度图像识别
CVPR2019——论文链接摘要 学习精细有区分度的特征（例如鸟喙和鸟的眼睛）在细粒度图像识别中起着十分重要的作用。现有的基于注意力的方法通过定位和放大重要部位来学习细粒度细节，但常常受到part数量和繁重的计算开销的限制。在这篇文章中我们提出，通过三线性注意力采样网络（TASN）给出的数百个part proposals，学习细粒度特征。特别地，TASN包括：1）一个三线性注意力模块，通过对通道间关系的建模来生成注意力图；2）一个基于注意力的采样器，突出高分辨率的注意力part；3）一个特征蒸馏器.
2021-10-16 20:20:21
1899
原创 强监督细粒度分类：Part-based R-CNNs
PDF链接细粒度分类的一种方法是基于定位-识别，又可以继续分为强监督和弱监督两种。这篇文章是ECCV 2014的一篇强监督细粒度图像检测。摘要 目前已有的姿势规范化表示的方法，由于对象检测的困难，通常在测试时使用边界框标注。 文章提出了一个细粒度分类模型，该模型通过利用基于自底向上区域建议计算的深层卷积特征来克服这些限制。该方法学习整个对象和部分检测器，在它们之间强制学习几何约束，并从姿势规范化表示中预测细粒度类别。在Caltech的UCSD bird数据集上的实验证实，我们的方法在端到..
2021-10-14 23:14:57
1881
原创 CVAE-GAN：通过不对称学习生成细粒度图像
摘要 Abstract我们提出了可变的生成对抗网络，一个大体上包含一个采用生成式对抗网络的可变自动编码器
2021-10-12 20:53:24
1593
原创 读代码：geo_prior（2）
utils.pyencode_loc_timedef encode_loc_time(loc_ip, date_ip, concat_dim=1, params=None): # assumes inputs location and date features are in range -1 to 1 # location is lon, lat if params['loc_encode'] == 'encode_cos_sin': feats = .
2021-09-24 21:25:29
171
原创 读代码：geo_prior
ReadMedemo.pyis a simple demo script that either 1)takes location as input and returns a prediction for all the categories predicted to be present at that location or 2)generates a dense prediction for a category of interest.
2021-09-24 18:00:11
240
原创 论文速读 深度多物种嵌入模型
摘要理解物种是如何跨板块跨时间分布是生物搜索中的一个基本问题。但不幸的是，大多数的物种分布模型只能一次指向一个物种，尽管已经有强有力的生态学证据表明物种的分布不是独立的。我们提出了深度多物种嵌入模型（Deep Multi-species Embedding,DMSE），能够通过一个深度神经网络，将与多物种相关的向量和表示环境变化的向量联合嵌入到一个共有的高维特征空间。...
2021-09-23 15:57:19
383
原创 2021-09-18
4.3 量化评估 Quantitative Evaluation在上表中，我们通过和一些baseline对比，评估了我们的时空先验对于图像分类表现的改善效果。我们发现，在baseline的基础上为最近邻的输出添加一个先验能够提高他们的表现。在训练集中没有对象出现在测试集的位置上时，可以增加鲁棒性。这种统一的先验知识的缺少解释了[55]中基于最近邻的方法的较差结果。和Tang等人的方法[55]对比，我们联合训练一个线性层来嵌入原始位置信息，同时输出层将位置嵌入与图像分类器最后一个线性层的特征相结合。图
2021-09-18 12:40:34
86
原创 2021-09-16（一）
摘要 Abstraction仅仅靠外观信息，想要精细地区分细粒度视觉分类往往是不够的。专家使用额外的线索来形成他们的最终决定，例如给定的图像是在何时何地被摄影。在许多在线图像的收集中，文字信息是稳定可获得的，但是在当下的图像分类中却没有被充分使用，因为目前的图像分类更关注单独基于图像的内容来进行预我们提出了一种有效的时空先验，给定地理位置和时间作为条件，估计一个给定的对象分类在该地点出现的概率。我们的先验是根据presence-only观测数据，模型对象的联合分类，以及它们的时空分布和摄影师偏好来训
2021-09-16 16:56:58
1191
3
原创 面向大规模图像检索的层次语义索引
摘要本文讨论的是相似图像检索的问题，特别是在百万到十亿级别的大规模数据集上。核心新贡献是一个利用先进的语义层次知识的方法。当语义标签和与它们相关的层次结构在训练中可用时，相似图像检索会获得显著的改进。一些优势来源于使用额外的信息的能力，我们的实验探索一种特殊的情况——在没有额外提供数据的情况下，新方法的表现也胜过了目前相似度学习领域的最先进方法OASIS。对于规模更大的问题，利用层次关系是最重要的，因为在这些问题中，可扩展性变得至关重要。我们提出的学习方法基本上是可并行的，因此比以前的工作更易于扩展。.
2021-09-13 11:30:18
389
原创 Your “Flamingo“ is My “Bird”：Fine-Grained or Not
摘要 Abstract“你在图中看到的是火烈鸟还是一只鸟？”，这是这篇文章开头提出的问题。当细粒度视觉分类(Fine-Grained Visual Classification,FGVC)在努力实现前者（火烈鸟）的目标时，对于我们中的大多数非专业鸟类学者，了解到它是一只鸟可能就已经足够了。问题：我们该怎样为具有不同专业程度背景的人，改变不同的细粒度定义？引出：为此我们重新设想，将传统的FGVC由单一标签分类，变为自顶向下遍历一个预定义的、从粗到细的标签层次结构。也就是，"鸟类"→“火烈鸟目”→“
2021-09-12 16:51:16
709
1
原创 皮马印第安人糖尿病数据集——模型评估
一、数据集介绍PimaIndiansdiabetes.csv 这个数据集的原始数据来自国家糖尿病消化和肾病机构。数据集的目的是基于数据集中确定的诊断测量指标来预测一个患者是否患有糖尿病。在从更大的数据库中选择这些实例时受到了一些限制。特别是，所有收录于数据集的患者都是至少21周岁的皮马印第安女性。数据集包括多个医学预测变量和一个目标变量。预测变量包括患者的怀孕次数，她们的BMI指数，胰岛素水平，年龄等。上图从左至右分别为：怀孕次数、葡萄糖、血压、皮肤厚度上图从左至右分别为：...
2021-08-28 14:16:02
8848
4
原创 手写数字识别
数据集：Semeion Handwritten Digit Data Set下载地址：手写数字识别数据库数据集包括1593个记录和256组。每个记录代表一个手写数字，最初以256个灰度级(28)的分辨率扫描。每个原始扫描图像的每个像素在第一次拉伸和缩放后处于0和1之间(设置为0的每个像素值下,价值127的灰度(包括127)和设置1的每个像素的灰度原始值超过127)。最后，每个二进制图像被重新规格化为一个16x16像素的正方形图像。载入数据import numpy as npimport ma
2021-04-11 22:39:08
95
原创 2021-02-25
问题描述：RSA is one of the most powerful methods to encrypt data. The RSA algorithm is described as follow:RSA是最强大的加密数据方法之一。RSA算法描述如下：>选择两个大素数p,q>计算n=p x q，计算F(n) = (p - 1) x (q - 1)>选择一个整数e(1<e<F(n))，使最大公约数(e,F(n)) = 1，e是公开的>计算d，使d
2021-02-25 14:06:11
47
原创 1249 三角形
问题描述：用N个三角形最多可以把平面分成几个区域?输入：输入数据的第一行是一个正整数T(1<=T<=10000),表示测试数据的数量.然后是T组测试数据,每组测试数据只包含一个正整数N(1<=N<=10000).输出：对于每组测试数据,请输出题目中要求的结果.递归分析：已经画了n-1个三角形，新画一条边，最多与n-1个三角形的各两条边香蕉，每n个三角形每条边最多与2*（n-1）条边相交。每条边划分出的区域有2*(n-1)-1个，三条边可以划分出6*(n-1)-3个区域，再
2021-02-24 19:55:45
84
原创 1337 喝醉的狱卒
问题描述：某座监狱有一个长长的大厅，里面有n个牢房，每个牢房紧挨着。每个牢房里都有一个囚犯，而且每个牢房都锁着。一天晚上，狱卒感到无聊，决定玩个游戏。在游戏的第一轮，他喝了一杯威士忌，然后跑下大厅解锁每个牢房。在第2回合中，他喝了一杯威士忌，然后跑下走廊，锁住其他牢房(牢房2、4、6……)。第三轮，他喝了杯威士忌，然后跑到大厅。他每隔3个囚室(囚室3、6、9……)就去一次。如果牢房被锁上了，他就打开它;如果门没锁，他就锁上。他这样重复了n轮，喝完最后一杯，就昏过去了。一些囚犯，可能是零，意识到他们的牢
2021-02-23 21:43:56
1367
原创 1200 To and Fro（水题）
自己的编译器能过，oj上就是过不了……#include<string>#include<iostream>#include<string.h>#include<algorithm>using namespace std;int main(){ int n; while(cin>>n&&n) { int hang,lie; char str[210]; memset(str,'\0',sizeof(
2021-02-23 20:40:28
54
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人