场景图生成论文阅读笔记 之 CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation

最新推荐文章于 2024-06-18 11:55:16 发布
最新推荐文章于 2024-06-18 11:55:16 发布
阅读量791 收藏 2
点赞数
分类专栏： 论文阅读笔记 文章标签： 人工智能 深度学习 算法 场景图生成 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38574198/article/details/119083687
版权

2020 arXiv

《CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation》

无偏场景图生成的认知树损失

文章目录

针对问题/基本思想

人和Ai的本质区别不在于特征的表现形式，而在于概念的组织形式。人类会本能地从区分明显不同的关系开始认知，然后进一步区分那些差异较小的关系。本文的CogTree 基于biased SGG模型生成并且满足上述的思想：首先区分差异大的关系谓词，然后再区分相似的谓词。
（先粗分类，然后在大类里面细分类）

算法步骤

在这里插入图片描述

① Bias-based ‘Concept’

使用基础模型进行预测，对于每个Ground Truth谓词di都会有多个预测结果，此时使用排名第一的预测结果作为di的‘Concept’来代表di

② 构建Concept-centered子树

构建子树：分别以step1中提取得到的concept作为根节点，其对应的GT中非自身的谓词作为子节点。例如 concept ‘On’ 同时为关系谓词 ‘On’, ‘standing on’, 'walking on’的concept, 那么以谓词‘On’为根节点，另外两个谓词为子节点，然后构成子树。
对于那些只存在一个对应GT谓词的concept，文中认为这些concept不够具有代表性，此时就将预测结果中的第二位作为concept（第二个也不行的话就往后顺延）（例如图中的parked on）

③ 组合子树

组合子树：可分为3层来组合
y1层：节点数量=Step2的子树数量，用于粗略地将输入进行分类
y2层：将y1层的每个节点(即step1的每个子树)分为两个分支：

  • 一个为代表该子树根节点自身的concept
  • 另一个为该子树的其它所有子节点

y3层：进一步细化地分类

Cognition Tree Loss

在这里插入图片描述

损失函数分为两部分：
L_CB: 所有类的一个 类平衡softmax交叉熵损失(class-balanced softmax cross-entropy)
在这里插入图片描述

在这里插入图片描述

L_TCB: 计算CogTree里每一层的类平衡softmax交叉熵损失，然后平均得到：
在这里插入图片描述

其中：
Lpath为 从CogTree中根节点到一个谓词叶节点的路径中经过的节点集合
Zi : 为节点i的PCP指数（Predicted CogTree Probability），计算方式如下：
在这里插入图片描述

而pk是根据预测结果得到的

疑问：pk具体怎么得到的，是统计一张图中所有预测结果的top K 里各类的数量吗

疑问：计算非叶节点的zi时为什么是子节点PCP的平均而不是直接的子节点之和，加平均的作用是什么

感觉TCB Loss中的分母改成exp(Zi) + ∑zj∈B(i)exp(Zj) 更合理？

ωi 为CogTree中的节点平衡权值：
在这里插入图片描述

作者提到，TCB损失首先会使得网络抑制交叉概念(concept-specific)的噪声并学习concept的编码，而后抑制一个concept内部的噪声，进而产生更精细化的分类

就是先分大类，再在大类里面细分

实验结果

实验是基于MOTIFS, VCTree, SG-Transformer来进行的对比实验：
在这里插入图片描述

流觞时光
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【场景图生成】Graphical Contrastive Losses for Scene Graph Parsing
weixin_44574941的博客
04-18 3923
【场景图生成】Graphical Contrastive Losses for Scene Graph Parsing
2020-无偏见的场景图生成:Unbiased Scene Graph Generation from Biased Training
weixin_42653320的博客
06-25 1607
这里##写自定## 标题义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习
论文阅读_CogTree_推理的认知树
谢彦的技术博客
01-20 1326
文中提出了反思树 CogTree，希望通过对小模型的微调和一些附加技巧，替代大模型的推理能力。
用AI绘画-Stable Diffusion稳定生成指定人物的2-3人场景图，制作小说配图从未如此轻松！
最新发布
A13531922961的博客
06-18 1408
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。但是，三次元炼丹比二次元炼丹相对要复杂一些（难一些），因为三次元里面的人物，是三维的，比二次元人物多一维，也就代表着机器需要学习更多数据才能学会你的人物特征，也意味着如果有一点没学会或者没学对，都会让你的人物训练功亏一篑（不像，崩图，泛化性差等）。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
场景图生成综述
Mr___WQ的博客
03-30 7039
场景图是对场景的结构化表示，可以清晰地表达场景中的对象、属性和对象之间的关系。随着计算机视觉技术的不断发展，人们不再满足于简单地检测和识别图像中的物体;相反，人们期待对视觉场景有更高层次的理解和推理。例如，给定一张图像，我们不仅要检测和识别图像中的物体，还要了解物体之间的关系(视觉关系检测)，并根据图像内容生成文本描述(图像字幕)。或者，我们可能希望机器告诉我们图像中的小女孩在做什么(视觉问答(VQA))，甚至从图像中删除狗并找到类似的图像(图像编辑和检索)，等等。
一个场景图生成模型
冬炫的博客
08-20 884
github优秀代码链接：https://github.com/deeplab-ai/atr-net
【场景图生成】Unbiased Scene Graph Generation from Biased Training
weixin_44574941的博客
04-12 2079
【场景图生成】Unbiased Scene Graph Generation from Biased Training
Meeker, MN SOI 能力工作簿：Cognition El Segundo，CA：SOI 研究所（214 Main St.），1973，220 页，[美元]7.50
06-29
能力工作簿：Cognition El Segundo，CA：SOI 研究所（214 Main St.），1973，220 页，[美元]7.50 240 书评忽略了教学技术的存在； 然而，它的潜力如此之大，可能会导致教育实践的重大调整。 虽然委员会强烈敦促缩短...
Meeker, M. N. SOI abilities workbook: Cognition El Segundo, CA: SOI Institute (214 Main St.), 1973, 220 pp., [dollar]7.50
06-29
SOI abilities workbook: Cognition El Segundo, CA: SOI Institute (214 Main St.), 1973, 220 pp., [dollar]7.50 240 BOOK REVIEWS ignore the existence of instructional technology; however its ...
Soda-Bottle-Identification:该笔记本是Deep Cognition举办的苏打水瓶识别挑战的一部分
04-28
这款笔记本电脑是Deep Cognition汽水瓶主办的汽水瓶识别挑战的一部分 问题描述：需要人工来确定是否需要补充汽水瓶。 在时间和精力上这都是密集的。 挑战的目的是创建一个从其形象对苏打水瓶进行分类的模型。 这样...
energy-based-scene-graph:场景图生成的基于能量的学习的代码发布
05-20
基于能量的场景图生成学习 该存储库包含CVPR 2021接受的论文《的代码。 环境设定 要设置具有所有必需依赖关系的环境，请遵循的步骤。 注意：默认情况下， cudatoolkit版本设置为10.0。 在计算机上创建环境时，请通过运行nvcc --version检查cuda编译器版本，并适当调整cudatoolkit版本。 运行代码时，版本不匹配会导致build失败或segmentaion fault错误。 数据集 检查以获取有关下载数据集的详细信息。 预训练模型 我们在使用基于交叉熵和基于能量的训练方法训练的Visual Genome数据集上实现了保留的VCTree模型的权重。 循证医学 CE认证 要训​​练您自己的模型，您可以从此获取预训练探棒的权重。 基于能量的场景图生成的培训 python -m torch.distributed.launch --master_port 10
颜色分类leetcode-SGGpoint:[CVPR2021]利用面向边缘的推理进行基于3D点的场景图分析
07-06
颜色分类leetcode SGG点 此存储库包含以下论文的 PyTorch 实现： 利用面向边缘的推理进行基于 3D 点的场景图分析 , 于建辉, , 摘要场景理解是计算机视觉中的一个关键问题。 在本文中，我们提出了一种基于 3D 点的场景图生成（ SGG点）框架，通过三个连续的阶段，即场景图构建、推理和推理，有效地桥接感知和推理以实现场景理解。 在推理阶段，创建面向 EDGE 的图卷积网络 ( EdgeGCN ) 以利用多维边特征进行显式关系建模，同时探索节点和边之间的两个相关联的孪生交互机制，以实现场景图的独立演化表示。 总体而言，我们建立了集成的 SGG点框架，以从现实世界和合成的基于 3D 点的场景中寻找和推断感兴趣的场景结构。 我们的实验结果显示了对场景图生成研究的有希望的面向边缘的推理效果。 我们还在几个传统的图表示学习基准数据集上展示了我们的方法优势，包括引文网络上的节点分类和分子分析的全图识别问题。 数字。 我们提出的基于 3D 点的场景图生成（SGG点）框架由三个连续阶段组成，即场景图构建、推理和推理。 数据集 快速浏览我们清理过的3DSSG-O27R16数据集的一些
场景图生成（scene graph generation），github/yrcong/RelTR 代码运行
tt1724369779的博客
04-26 1938
这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间。 从github下载项目，按照网站要求： git clone https://github.com/yrcong/RelTR.git cd RelTR 之后下载anaconda配置新的环境，记住一定要按照网站要求设置python=3.6，我一开始运行python=3.7一直无法成功。下载需要的包。
HiKER-SGG: Hierarchical Knowledge Enhanced Robust Scene Graph Generation 层次知识增强鲁棒场景图生成
weixin_44712441的博客
05-04 698
给定数据集图像记作 I，SGG的目标是生成一个有向场景图 G={N，E}，其中场景图的每个节点Ni ∈ N 表示为一个具有边界框Bi 和对象类的对象，每条边 Ei ∈ E表示为两个对象之间的谓词类。一个良好的场景图G包含一个视觉关系三元组 <subject-predicate-object>的集合，用于全面描述图像 I。
场景图生成图像
qq_44462711的博客
10-06 651
论文摘要 为了能真正理解视觉世界，模型不仅要能够识别图像，还要能够生成它们。近期在自然语言描述生成图片方面取得了令人兴奋的进展。这些方法在有限的领域（例如鸟类或花卉的描述）上提供了令人惊叹的结果，但对于具有许多对象和关系的复杂句子却很难成功复制。为了克服这个限制，作者提出了一种从场景图生成图像的方法，能够明确地推理对象及其关系。作者开发的模型使用图形卷积来处理输入图，通过预测对象的边界框和分割掩模来计算场景布局，并且将布局转换为具有级联精化网络的图像。论文作者使用对抗训练网络对抗一组鉴别器，以确保实际输出
【论文笔记】基于有偏训练的无偏场景图生成
weixin_43939542的博客
06-24 970
本文是作者阅读2020年CVPR《Unbiased Scene Graph Generation from Biased Training》所做的笔记，保证原创，加入了自己的一些思考
场景图生成论文阅读笔记 之 Graph R-CNN for Scene Graph Generation
流觞时光
07-19 1267
2018 ECCV 《Graph R-CNN for Scene Graph Generation》 比较早使用图网络进行场景图生成的论文，对后续工作具有一定的启发性，在这做一记录 文章目录《Graph R-CNN for Scene Graph Generation》针对问题文章创新点模型结构① Object Proposal② Relation Proposal Network③ Attentional GCN实验结果 针对问题 很多工作中预测关系时都是密集关系的方式（目标与其它每个目标之间都存在关系）
场景图生成——RelTR训练自己的数据集
weixin_44715117的博客
07-14 1481
最近在做关于视觉关系检测的任务，找文章的过程中发现了一篇使用transformer进行视觉关系检测（场景图生成）的文章——RelTR，于是想用这篇文章的模型来跑一下自己的数据集。因为当前用的数据集不是最终版本的数据集，所以先写个文章记录一下模型使用数据集的格式，方便后面处理数据集，避免大量重复的工作，所以就有了这篇文章。
e-Cognition 8.7.2 Data Management User Guide: Trimble Image Analysis Operations
"本资源是一份关于Trimble eCognition® 8.7.2 Data Management User Guide的中文版使用说明文档。eCognition是Trimble公司提供的高级图像分析解决方案，该版本用户手册详细介绍了如何操作和管理数据，包括软件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值