论文介绍 -- Semantic Compositional Networks for Visual Captioning

最新推荐文章于 2022-09-04 11:19:46 发布
最新推荐文章于 2022-09-04 11:19:46 发布
阅读量717 收藏 2
点赞数
分类专栏： 深度学习基础理论与技术实践 人工智能 文章标签： AI RNN Tag Semantics CVPR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chr1991/article/details/103767973
版权
本文介绍了2017年CVPR论文中的Semantic Compositional Networks (SCN)方法，该方法通过结合语义信息与RNN/LSTM，提升视觉描述的质量。SCN-RNN和SCN-LSTM模型利用多标签分类预测的图像语义概念，以动态调整RNN/LSTM的权重，降低参数量并优化性能。在MS-COCO、Flickr3k和Youtube2Text数据集上，实验结果表明SCN模型在多个评估指标上表现优异。
摘要由CSDN通过智能技术生成

Semantic Compositional Network for Visual Captioning是2017年发表在CVPR上的一篇论文。它的作者主要来自于杜克大学、清华大学和微软研究院（美国）。在这篇论文发表前，已经有几篇关于是使用语义信息来增强解码器生成语句质量的论文。这篇文章的创新之处在于它提出了一种使用语义信息来和循环神经网络参数进行的集成的方法。多标签分类网络对图像或者视频的分类结果被当作是视觉语义信息。

用于图像描述的普通RNN模型

有图像\bold{I}和对应的描述\bold{X}。我们首先提取特征向量v(\bold{I})。这通常是预训练卷积神经网络的最后输出的特征图。为了表示的简洁，我们用v表示v(\bold{I})。长度为T的表述\bold{X}=\{x_1,x_2,x_3,...,x_T\}。不同的描述语句有不同的T。x_k被线性嵌入n_x维的低维空间得到w_t=\bold{W}x_t。\bold{X}的概率可以表示为p(\bold{X}|\bold{I})=\prod_{t=1}^Tp(x_t|x_0, ..., x_{t-1},x_t,v)。

对于简单的循环神经网络，它的运作可以表示如下

最低0.47元/天 解锁文章
信道者
关注
专栏目录
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
CompositionalNets:正式执行CVPR2020文件
05-04
组成卷积神经网络：具有对部分遮挡的固有鲁棒性的深度架构[CVPR-2020] Compositional Convolutional Neural Networks: A Deep Architecture with Innate Robustness to Partial Occlusion Adam Kortylewski, Ju He, Qing Liu, Alan Yuille CVPR 2020 发行说明 这是我们原始代码从Tensorflow到PyTorch的移植。 与原始代码库相比，该代码更快，更干净。 结果与本文报道的结果略有不同。 特别是，对于低咬合，性能会稍低一些，而对于较强的咬合，性能会稍高一些。 平均而言，结果比论文中报道的要好。 目前，我们提供了从VGG-16 pool5层进行训练的CompositionalNets的预训练模型。 应当可能为其他骨干和层训练C
Semantic Compositional Networks for Visual Captioning
人工智能
10-09 1248
Semantic Compositional Networks for Visual Captioning Zhe Gan, Chuang Gan, Xiaodong He, Yunchen Pu, Kenneth Tran, Jianfeng Gao, Lawrence Carin, Li Deng (Submitted on 23 Nov 2016 (v1), last r
论文笔记：Semantic Compositional Networks for Visual Caption
放学遛大街
08-09 1432
Semantic Compositianal Networks for Visual Captional 这篇文章有意思的地方在于它处理语义概念（semantic concept）的思路。在这之前看过一篇文章（Image Caption with Semantic Attention）和这一篇比较像，在encoder阶段都提取了图片的卷积特征以及语义概念特征两种特征用于decoder。而且，也是...
《Semantic Compositional Networks for Visual Captioning》论文笔记
王权大宝的博客
05-04 517
CVPR 2017 Semantic Compositional Networks（SCN）有效的组合各个标签，来生成描述图像整体意义的描述。《Semantic Compositional Networks for Visual Captioning》也是CNN-LSTM结构，但SCA扩展传统LSTM的每个权重矩阵为依赖于标签的权重矩阵的集成，这取决于标签存在于图像中的概率。 给定图片I，...
《Entity Slot Filling for Visual Captioning》阅读后的一些理解
Apoil的博客
09-04 394
《Entity Slot Filling for Visual Captioning》阅读后的一些理解
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
video caption任务简介
01-29
video caption 目的：从一段视频中自动生成一段描述性文字，用以展现视频中的主要特征以及特征之间的关系。 方法：基于视频的特征提取以及循环神经网络的语义生成
4.Compositional Convolutional Neural Networks 论文阅读
hb_learing的博客
02-06 1932
Title：Compositional Convolutional Neural Networks:A Deep Architecture with Innate Robustness to Partial Occlusion Writers：Adam Kortylewski Ju He Qing Liu Alan Y uille Conference：CVPR 2020 作者单位：Johns Hopkins University 论文地址:https://ieeexplore.ieee.org/docum
CVPR2017 all paper list
一亩半分地
07-26 2万+
本文给出了CVPR2017的最新的paperlist
Image Captioning 经典论文合辑
weixin_30814329的博客
11-02 1345
Image Caption: Automatically describing the content of an image domain:CV+NLP Category:(by myself, you can read the survey for detail.) CNN+RNN, with attention mechanisms Reinforcement Learning ...
Image Caption（一）综述
weixin_41386168的博客
11-27 2827
1、监督学习 vs others： Exposure Bias（RNN造成的累积误差） 解决方法：1）使用scheduled-sampling，在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。p随着训练次数的增加衰减（指数函数、反sigmoid函数、线性函数）。 Word-Level Oracle Word《Scheduled sampling for sequence prediction with recurrent neural networks》Google 20
image caption笔记（八）:《From Captions to Visual Concepts and Back》
zlrai5895的博客
12-10 1726
这篇文章是15年微软的工作，是和谷歌《show and tell》同时期的文章，它们都去参加了微软的Image Caption比赛（MS COCO caption challenge），总的结果是并列第一。 文章的框架不是我们常见的encoder-decoder类型，但是仍然有启发意义。 文章生成caption的思路是 （1）给出一幅图像，首先使用视觉检测器提取出图像中可能存在的单词。 （...
Exploring Visual Relationship for Image Captioning
Peter的脱发日记
05-17 2609
Exploring Visual Relationship for Image Captioning 论文地址 时间：2018年 Intro 尽管当前存在很多CNN+RNN模型，还有一个未被充分研究的问题，即如何利用视觉关系来帮助image captioning。 本文提出了一个GCN-LSTM模型，如图所示 Contribution 本文的主要贡献是提出了对视觉关系的使用 Model 本文通过...
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
Peter的脱发日记
05-17 1084
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering 原文地址 时间：2018 contribution 提出了结合bottom-up和top-down的视觉注意力机制 Model 给定一张图片III，取其k个salient region的特征 Bottom-Up Attention...
视觉场景理解论文阅读笔记:Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
u012991166的博客
06-12 1万+
一、文章相关资料1.论文地址:点击打开链接2.论文代码:点击打开链接3.发表时间:2018二、阅读笔记1.论文思想        文章提出一种自上而下与自下而上相结合的注意力模型方法，应用于视觉场景理解和视觉问答系统的相关问题。其中基于自下而上的关注模型（一般使用Faster R-CNN）用于提取图像中的兴趣区域，获取对象特征；而基于自上而下的注意力模型用于学习特征所对应的权重（一般使用LSTM）...
swin-transformer-semantic-segm
最新发布
07-28
Swin Transformer是一种基于Transformer架构的图像分类和分割模型。它在2021年由香港中文大学和商汤科技提出，并在语义分割任务上取得了优秀的性能。 Swin Transformer的核心思想是将图像分割任务转化为一系列的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值