Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning

最新推荐文章于 2023-10-08 21:18:56 发布
最新推荐文章于 2023-10-08 21:18:56 发布
阅读量981 收藏 5
点赞数
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luo3300612/article/details/91381211
版权

Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning

原文地址

时间:2019 CVPR

Intro

本文要解决的问题是dense caption，通过寻找每对object之间的关系来进行caption生成

Approach

给一张图片，RPN生成object proposals，然后结合层接受一对输入（subject,object），同时接受它们的并集区域作为输入，这个三元组（subject,object,union）然后输入到triple-stream LSTM中，生成caption和每个词的POS，整个模型如图所示
在这里插入图片描述

Region Proposal Networks

为了得到subject,object，只需要将所有proposal组成二元组即可，总共B(B-1)个二元组，除此以外，上图中的geometric提供了两个subject和object在union中的相对位置
在这里插入图片描述

Relational Captioning Networks

模型结构如图所示
在这里插入图片描述
Triple-Stream LSTMs
三部分输入分别进入一个LSTM来预测，得到的结果融合起来生成下一个词

Multi-task with POS Classification
通常的relation captioning的生成词的词性总是按照subj-pred-obj的顺序，我们在生成词的时候同时预测POS，鼓励生成的caption遵循这个规则，来做一个multi-task学习

损失函数
在这里插入图片描述
由caption loss，POS 分类loss，detection loss和bounding box regression loss组成

结果

在这里插入图片描述

在这里插入图片描述

结论

本文提出了multi task triple stream Net，针对图中每对proposal利用了POS辅助image captioning，得到了较好的结果

luputo
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020 image captioning最新论文
qq_44673526的博客
12-04 578
Dense Relational Image Captioning via Multi-task Triple-Stream Networks 论文 https://arxiv.org/pdf/2010.03855v2.pdf 代码https://github.com/Dong-JinKim/DenseRelationalCaptioning CAPWAP: Captioning with a Purpose 论文：https://arxiv.org/pdf/2011.04264v1.pdf 代.
Dubbo3之Triple协议Streaming通信
程序员小潘
08-24 624
Dubbo3 推出的 Triple 协议开始支持 Streaming 流式通信，流式通信适用于大文件、大数据传输、直播流推送等场景。Stream 分为三种类型：客户端流、服务端流、双向流。由于 Java 语言的限制，客户端流和双向流实现方案是一样的。
第四十五周学习笔记
Peter的脱发日记
06-14 397
第四十五周学习笔记 论文阅读概述 Context and Attribute Grounded Dense Captioning，本文通过将global,neighboring和local的图像特征融合，实现更加准确的dense caption，并引入coarse-to-fine损失函数，来辅助caption model选择更加准确的词 Dense Relational Captioning:T...
cvpr 2019 image caption
binqiang2wang
06-30 6068
2019cvpr image captioning的论文总共16篇左右，其中主要包括三个方向： 第一：就是评价指标； 第二：就是提出新任务，一般都附带一个新的数据库； 第三：就是发现原先captioning当中的的问题，提出一定的解决方案。通过整体阅读，会发现，最后一种当中精度提升都一般，只要选择合适的比较算法，然后讲好自己的故事，就是很优秀的work。下面，我们来简单整体看一下相关论文。 第一类...
betrayed-by-captions
whaosoft143ai的博客
08-24 56
因此，为了利用起来除object nouns之外的词，本文提出利用标题生成任务（caption generation task），即让模型根据图像特征去预测图像的标题，再跟ground truth标题比对，计算标题生成损失函数，让模型可以学习并理解图像整体的含义，将除了object nouns之外单词的信息也一同学习，包括物体之间的动作、状态、关系，并不只限于物体本身。CGG 在没有额外的大规模数据集预训练的情况下，在COCO的OVIS上取得了6.8%的性能提升，在开放集合全景分割上提升了15%的性能。
Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and App 2019.pdf
09-07
Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and Applications Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and App.pdf (8.28 MB, 下载次数: 137 ) We are ...
Residual-Dense-Net-for-Super-Resolution
04-28
介绍 这是这篇cvpr18的文章的非官方keras+tensorflow实现。 结果 Set5数据集的结果 使用 打开inference.py，里面有xdir改一下，数据集去这里。 测试 想测试PSNR指标，用Matlab更准确，仍然这里。...
ultra-dense-networks-for-5g-and-beyond-modelling-analysis-and-ap
06-14
ultra-dense-networks-for-5g-and-beyond-modelling-analysis-and-applications
RetinaFace: Single-stage Dense Face Localisation in the Wild.pdf
03-25
Though tremendous strides have been made in uncon trolled face ... (5) By employ ing light-weight backbone networks, RetinaFace can run real-time on a single CPU core for a VGA-resolution im age.
0001-mnistTensorFlow:CNN-卷积神经网络
03-28
使用Tensorflow的简单CNN 插入图片 卷积神经网络从mnist.dataset识别28x28像素图像中的数字 ...keras.layers.Dense # initialize and compile model model = Sequential () model . add ( Conv2D ( 64 , kerne
DenseRelationalCaptioning:稠密关系字幕法
05-25
密集关系图像字幕 我们的论文以及我们的期刊扩展论文（ ）的代码， 。 由金东进（Dong-Jin Kim），崔镇s（Jinsoo Choi），吴泰H（Tae-Hyun Oh）和尹素K（In So Kweon）完成。 链接： ， ， ， 。 我们介绍了“关系字幕”，这是一种新颖的图像字幕任务，旨在针对图像中的对象之间的关系信息生成多个字幕。 该图显示了与以前的框架的比较。 更新 （28/08/2019） 我们的代码已从仅评估版本更新为可培训版本。 反向传播部分的代码已添加到几个功能中。 （06/09/2019） 修复了UnionSlicer代码的错误。 添加了eval_utils_mAP.lua。 （2020/12/24） 添加了用于在新图像上运行我们的模型的代码。 （26/01/2021） 更新了日志扩展版本（MTTSNet + REM）中的模型。 安装
《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》论文总结
Just_do_myself的博客
04-18 3012
一篇针对小样本目标检测的2021CVPR论文解读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》，论文在faster-rcnn的基础上引入了K-Shot元学习的框架提出DCNet，并引入了通道Attention和Transformer的思想，提出Dense Relation Distillation模块和Context-aware Aggregation模块。
（2021|NIPS，VQ-VAE，精度瓶颈松弛，三明治层归一化，CapLoss）CogView：通过转换器掌握文本到图像的生成
最新发布
qq_44681809的博客
10-08 380
本文提出了CogView 来解决通用领域中的文本到图像生成问题，提出精度瓶颈松弛和三明治层归一化来解决预训练的不稳定，提出了标题损失来来评估图像和文本之间的对应关系，提出三区域稀疏注意力来加速训练并节省内存而不损害性能。
Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection (2021 CVPR)
qq_37297763的博客
10-29 1512
1. 出处 2021 CVPR 北大 2. 问题 小样本目标检测在只有少量样本可用的情况下，很容易忽视新物体的细粒度的特征。 已有的方法有几个缺陷： support特征和query特征之间的关系几乎没被探索过，在support特征上进行的全局池化操作用于调制query分支，这易于损失局部细节信息。support图像和query图像之间的外观变化差异很大或者有遮挡时，会对结果产生很大误导。没有足够的对比性信息的话，模型难以学到关键特征用于分类和定位。 尺度变化问题仍然是小样本检测任务的阻碍 3. 解决方案
论文阅读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》
AmbitionalH的博客
09-18 1995
Background ＆ Motivation 文中认为在此之前的 Few-shot 目标检测方法中的两类存在着不足： 采用元学习的训练策略，同时 reweight 每一类的表征。 fine-tune 的方法，用 Novel 类数据微调模型的 Head 或者采用辅助分支来 refine 模型的 RPN 和 Head。 首先，support set 和 query set 之间的关系很难完全的表征出来，很多此前的方法采用的 global pooling 的方法会导致局部细节信息的丢失，模型
通过 HTTP/2 协议案例学习 Java & Netty 性能调优：工具、技巧与方法论
阿里云技术
05-19 310
当你在 Dubbo 框架中使用 Triple 协议，然后你就可以直接使用 Dubbo 客户端、gRPC 客户端、curl、浏览器等访问你发布的服务，不需要任何额外组件与配置。
对Image caption的一些理解(看图说话)
为之则易，不为则难
10-29 6144
1. 背景 ​ 在计算机视觉中，图像分类和目标检测任务是比较成熟的领域，已经应用到实际的产品领域。而“看图说话”要实现的功能是，给定一张图像，计算机能告诉我们图片的内容，显然，这会使一个比较复杂的任务，因为它涉及到了如下的子任务： 1）检测图像中的目标； 2）目标的属性，比如颜色、尺寸等； 3）目标之间的关联； 4）语言模型，用于把上面的信息表述成句子； 2. 相关的论文 2.1 “...
论文阅读【Learning to Discretely Compose Reasoning Module Networks for Video Captioning】
hei_hei_hei_的博客
06-28 608
video caption论文阅读【Learning to Discretely Compose Reasoning Module Networks for Video Captioning】
python 制作动态网页_Python3如何抓取JS动态生成的html网页功能实现示例
weixin_39588104的博客
11-26 260
这篇文章主要介绍了Python3实现抓取javascript动态生成的html网页功能,结合实例形式分析了Python3使用selenium库针对javascript动态生成的HTML网页元素进行抓取的相关操作技巧,需要的朋友可以参考下本文实例讲述了Python3实现抓取javascript动态生成的html网页功能。分享给大家供大家参考，具体如下：用urllib等抓取网页，只能读取网页的静态源文...
CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection
08-31
CrossKD是一种用于密集目标检测的知识蒸馏方法，它通过在目标检测的分类头上应用知识蒸馏（KD），从而实现对目标检测的位置头的定位蒸馏（LD）。该方法的目的是通过将分类头上的知识传输到定位头上，以提高密集目标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值