《Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition》论文笔记

最新推荐文章于 2023-04-13 20:40:58 发布
最新推荐文章于 2023-04-13 20:40:58 发布
阅读量1.2k 收藏 2
点赞数 2
分类专栏： 论文调研
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/klrp95/article/details/88716462
版权
本文介绍了如何利用知识图谱和门控图神经网络（GGNN）构建知识嵌入表示学习（KERL）框架，用于解决细粒度图像识别问题。通过知识图谱传播节点信息并生成知识表示，该框架增强图像特征，精确区分子类。实验在Caltech-UCSD鸟种数据集上取得成功，表明了知识在特征学习中的重要作用。
摘要由CSDN通过智能技术生成

中山大学、商汤科技

怎样使用DNN框架来 unify 丰富的专业知识，提出了一个知识嵌入表示学习（Knowledge-Embedded Rpresentation Learning）框架来解决细粒度图像识别问题。

大量以 知识图谱 存在的 视觉概念，使用了Gated Graph 神经网络来传播 node message，然后生成知识表示。

通过引入一种新的门控机制，我们的KERL框架将这种知识表示方法应用到图像特征识别学习中。（1）嵌入的高级知识增强了特征表示，有助于区分子类之间的细微区别 （2）我们的框架可以使用有意义的配置来学习特征映射，highlighted regions 与 知识图谱 的节点（特定属性）完全一致。

数据集：Caltech-UCSD bird dataset

人类根据物体的外形和来自日常生活或者professions的知识来进行进行物体识别任务。通常，这些知识是根据一个复杂的视觉概念体系得到的，这个体系包括类别标签和它们的特性。细粒度的图像分类：attributes用来区分子类别。

传统的图像识别方法没有使用到这个知识，只是用了low-level 图像线索。如：使用part-based models；visual attention network定位discriminative regions/parts 以区分不同子类别之间的细微差别。然而࿰

最低0.47元/天 解锁文章
klrp95
关注
专栏目录
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总(NIPS,ICML,CVPR,ECCV,ICCV)
vanlish的博客
04-19 2154
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总1. NIPS1.1 2015NIPS1.2 2016NIPS1.3 2017NIPS1.4 2018NIPS1.5 2019NIPS2. ICML2.1 2015ICML2.2 2016ICML2.3 2017ICML2.4 2018ICML2.5 2019ICML3. CVPR3.1 2015CVPR3.2 2016CV...
Knowledge-Embedded Routing Network for Scene Graph Generation.pdf
08-09
To understand a scene in depth not only involves locating/recognizing individual objects, but also requires to infer the relationships and interactions among them. However, sincethedistributionofreal-worldrelationshipsisseriously unbalanced, existing methods perform quite poorly forthelessfrequentrelationships. Inthiswork,wefindthat the statistical correlations between object pairs and their relationships can effectively regularize semantic space and make prediction less ambiguous, and thus well address the unbalanced distribution issue. To achieve this, we incorporate these statistical correlations into deep neural networks to facilitate scene graph generation by developing a Knowledge-Embedded Routing Network. More specifically, weshowthatthestatisticalcorrelationsbetweenobjectsappearing in images and their relationships, can be explicitly representedbyastructuredknowledgegraph,andarouting mechanism is learned to propagate messages through the graph to explore their interactions. Extensive experiments on the large-scale Visual Genome dataset demonstrate the superiority of the proposed method over current state-ofthe-art competitors.
论文阅读——Knowledge-Embedded Representation Learning
Dujing2019的博客
03-01 1510
Knowledge-Embedded Representation LearningAuthorsAbstract（一） Introduction（二） Related Work2.1 Fine-Grained Image Classification2.2 Knowledge Representation（三）KERL Framework3.1 Review of GGNN3.2 Knowled...
[Scene Graph] Knowledge-Embedded Routing Network for Scene Graph Generation 论文解读
风中摇曳的小萝卜 的博客
09-10 1589
[Scene Graph] Knowledge-Embedded Routing Network for Scene Graph Generation (CVPR 2019) 论文解读 简介 这篇CVPR2019的论文解决的问题是通过一张图像生成相对应的场景图。场景图包括图像中物体区域、区域标签和物体之间的关系。由于作者发现物体和物体之间的关系有些是极为常见的而有些则不是很常见，这种关系分布的不均...
Self-Supervised Global–Local Contrastive Learning for Fine-Grained Change Detection in VHR Image
lclsdd的博客
04-13 262
同样，在GLCL中，为了更快地适应下游CD任务，FCD中常用的CD骨干网可以作为特征提取器，提取两个输入patch的联合特征表示，如图2的绿色块所示。图像级的CL特征表示可能对FCD的影响有限。**4) Local CL Head:**和全局CL相似，不同的是不同之处在于局部头部专注于更细粒度的特征的 CL，它将每个像素视为判别的单个实例，但是考虑到图像中的每个像素与其相邻像素具有较高的同质性，我们不能直接处理像素特征，而是聚合相邻像素区域的特征进行分析，在不影响学习效果太多的情况下，可以提高计算效率。
细粒度图像识别（2018）
weixin_37651084的博客
04-09 754
Fine-Grained Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition （ECCV 2018 Oral） 暂无代码 部分代码：https://github.com/RQuispeC/npairs_loss_MAMC Large Scale Fine-Grained Categorizati...
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
遥感-Deep Covariance Alignment for Domain Adaptive Remote Sensing Image Segmentation域自适应遥感图像分割中深度协方差对齐
ssshyeong的博客
05-06 1742
本文中，我们提出了一种新的深度协方差对齐（DCA）模型，用于UDA RSI分割。DCA可以显式地对齐类别特征，学习共享域不变的判别特征表示，从而增强模型泛化能力。具体来说，类别特征池（CFP）模块首先用于通过组合粗输出和深度特征来提取类别特征。然后，我们利用一种新的协方差正则化（CR）来加强类别内特征的更紧密性和类别间特征的进一步分离。
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Self-Supervised-Learning-for-Fine-grained:应用自我监督学习进行细粒度图像分类
04-02
细粒度的自我监督学习 此存储库具有与用于细粒度图像分类的自我监督学习相关的代码。 我使用了木薯植物病数据集
Image-embodied Knowledge Representation Learning
03-04
Image-embodied Knowledge Representation Learning 知识图谱相关的知识表示
2019CVPR细粒度论文笔记《Destruction and Construction Learning for Fine-grained Image Recognition》
小星星专栏
06-16 1万+
CVPR2019的一篇细粒度分类，京东AI研究院： Chen Y, Bai Y, Zhang W, Mei T. Destruction and Construction Learning for Fine-Grained Image Recognition. InProceedings of the IEEE Conference on Computer Vision and Pattern ...
细粒度图像分类论文研读-2022
weixin_46365033的博客
12-08 3655
目前的工作主要通过关注如何定位最具识别度的区域并依靠它们来提高网络捕捉细微变化的能力来完成FGVC。这些工作中的大部分是通过RPN模块来提出绑定框并重新使用主干网络来提取所选框的特征。近年来，ViT在传统分类任务重大放异彩，其自我关注机制将每个patch的token连接到分类token。注意力连接的强度可以被直观地视为表征重要性的指标。本文中，提出了一个新的、基于transformer的结构TransFG。本文将所有原始注意力权重聚合为一个注意力图来指导网络有效且准确地选择有区分度的图像块并且计算他们之间的
Learning Fine-grained Image Similarity with Deep Ranking(泛读)
小胜爱捣鼓
10-01 5193
一.文献名字和作者     Learning Fine-grained Image Similarity with Deep Ranking， CVPR2014     二.阅读时间     2014年10月1日 三.文献的贡献点     文献提出了一种基于深度投票机制的图片细粒度相似性，以及一种在线训练算法。     深度投票机制主要基于三个部分的模
细粒度图像分类 fine-grained classification
小星星专栏
12-09 2万+
细粒度图像分类又被称作子类别图像分类，是近年来计算机视觉、模式识别等领域的研究热点，其目的是对粗粒度的大类别进行更加细致的子类划分。但由于子类别间的细微差别以及较大的类内差异，较之普通的图像分类任务，细粒度图像分类的难度更大。 早期的基于人工特征的算法表达能力有限，分类效果也有很大的局限性。深度学习的兴起促进了该领域的发展，传统的人工标注信息制约了算法实用性，更多的算法不再依赖人工...
【深度学习】细粒度图像识别 (fine-grained image recognition)
热门推荐
JNing
02-02 2万+
【深度学习】细粒度图像识别 (fine-grained image recognition)
CVPR2019论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
多模态知识图谱构建系统论文笔记
SofiaT的博客
11-09 1952
知识图谱构建论文小结
Inhomogeneity-embedded active contour for natural image segmentation
最新发布
05-13
Inhomogeneity-embedded active contour (IEAC) is a technique used for natural image segmentation. The traditional active contour model, also known as the snake model, is a popular method for image ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值