[CVPR2017]Self-critical sequence training for image captioning

最新推荐文章于 2022-07-16 18:03:24 发布
最新推荐文章于 2022-07-16 18:03:24 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： PaperNotes 文章标签： image caption RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleml/article/details/87692436
版权

一直以来都只关注NLP方面的paper，涉及到图像的文章基本不看，可是最近看了一篇文本摘要的的文章用了the self-critical policy gradient training algorithm，所以就看了这篇文章，旨在学习self-critical policy gradient, 很多新方法新技术一开始都是先用着了图像上之后才延伸到文本处理上，所以决定一点一点将图像方面的补起来，要稳扎稳打才行啊
别人给出的解析：
https://blog.csdn.net/sinat_26253653/article/details/78458894
图像标注：
https://zhuanlan.zhihu.com/p/22408033?refer=intelligentunit
https://www.cnblogs.com/Determined22/p/6910277.html
https://zhuanlan.zhihu.com/p/24879932

小妖精Fsky
关注
专栏目录
【Image captioning】论文阅读六—Semantic-Conditional Diffusion Networks for Image Captioning_CVPR2023
安静到无声
01-21 1133
作为视觉和语言领域中的基础任务之一，图像描述旨在使用自然语句描述感兴趣的语义。这项任务自然地将计算机视觉和自然语言处理连接在一起，通过感知场景中的视觉内容并将其解释为人类语言，模拟了人类智能的基本能力。目前，当前最先进技术中的主导力量是利用编码-解码结构，并以自回归方式构建学习过程。特别地，图像编码器负责将视觉内容编码为高级语义，而句子解码器学习逐字解码顺序句子（图1a）。然而，这种自回归进展仅允许单向的文本信息传递，并且通常依赖于随着句子长度的平方增长的大量计算资源来进行。
【Image captioning】AI算法说——图像描述（Image captioning）
最新发布
安静到无声
06-11 1万+
COCO数据集是一个大规模常见物体检测、分割和图像描述的数据集。它包含超过330k张图像，其中包括2.5 million个目标实例，每张图像都有5个不同的图像描述。COCO数据集已成为自然语言处理和计算机视觉领域中一个非常优秀的基准数据集。2、
CVPR2017有哪些值得读的Image Caption论文？
Paper weekly
11-29 4789
作者丨崔权 学校丨早稻田大学硕士生 研究方向丨深度学习，计算机视觉 知乎专栏丨サイ桑的炼丹炉 前言 由于最近在做一个 Image Caption 的任务，读了一些最新的论文，把 CVPR2017 里比较中规中矩的 Image Caption 论文给拿出来总结一下。 说中规中矩是因为有一些 Caption 的论文做的方向比较偏，比如有一
Self-critical Sequence Training
bbbeoy的专栏
05-06 400
Self-critical Sequence Training for Image Captioning是IBM研究团队在CVPR 2017上发表的一篇论文，主要介绍了一种基于self-critical思想的强化学习方法来训练序列生成模型。 论文背景 该论文的背景与上周介绍的Sequence Level Training with Recurrent Neural Networks一文相似，后...
《Self-critical Sequence Training for Image Captioning》笔记
王权大宝的博客
07-02 1267
CVPR 2017 《Self-critical Sequence Training for Image Captioning》这篇文章提出了一个新的基于强化学习的图像描述方法的目标函数，解决的传统目标函数曝光偏差的问题，流程如下所示： 序列生成可以看作一个强化学习的问题，生成序列的LSTM看作一个“智能体”，单词和图像特征看作“环境”，网络参数定义为“策略”，最后推测的“动作”就是预...
论文笔记：Self-critical Sequence Training for Image Captioning
m0_56064238的博客
07-16 1876
文本的生成模型通常经过训练，以使用反向传播在给定前一个ground-truth单词的情况下最大化下一个ground-truth单词的可能性。这种方法被称为”TeacherForcing“。但是，这种方法会在训练和测试之间造成不匹配，因为在测试时，模型使用模型分布中先前生成的单词来预测下一个单词。这种exposurebias会导致测试时生成过程中的错误累积，因为该模型从未暴露于自己的预测中。...
[论文列表] Image Captioning 领域论文整理
zhjohnchan
08-16 5758
本文整理了Image Captioning图像描述领域相关的论文以及链接，同时我的GitHub仓库也将持续进行更新，方便对Image Captioning领域感兴趣的小伙伴进行学习和交流，欢迎大家Star和Fork. :D Contents 2010 I2t: Image parsing to text description - Yao B Z et al, P IEEE 2011....
CVPR2020 文本图像处理方向论文总结（Image-Text Matching）
qq_43680727的博客
11-22 4560
最近阅读了CVPR2020关于image-text matching的三篇文章，前两篇都是对文本图像匹配任务的改进，第三篇则是将文本图像匹配模型用于文本描述任务中。这里，我对三篇文章的主要内容进行一个梳理总结。 备注：由于本人也是第一次接触这个方向，很多术语可能翻译不正确，文章内容理解不正确，内容仅供参考。 1.GSMN Graph Structured Network for Image-Text Matching 解决问题： 现有的多对多匹配方案，大多忽视了元素属性、同一模态中不同元素间关联，而仅仅学习
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
CVPR17_training_code_去雨-DDN_
09-29
deep detail network for derain
强化学习第一篇
02-28
Discriminability Objective for Training Descriptive Captions 强化学习1
Deep Reinforcement Learning Hands-On Apply modern RL methods,
02-22
This practical guide will teach you how deep learning (DL) can be used to solve complex real-world problems. Key Features Explore deep reinforcement learning (RL), from the first principles to the latest algorithms Evaluate high-profile RL methods, includ。
image caption （三）强化学习之Self-critical
weixin_41386168的博客
11-27 2135
《Self-critical Sequence Training（SCST） for Image Captioning》 RL：训练模型，输入state即图片及已经生成的单词，输出action即下一个单词，使得模型得到更高的reward（metric）。 https://zhuanlan.zhihu.com/p/24879932 Policy Gradient是RL的一个比较基本的算法，适用于每个action可以从一个分布得到的情况。 https://zhuanlan.zhihu.com/p/2.
Self-critical Sequence Training for Image Captioning
Peter的脱发日记
06-14 3404
Self-critical Sequence Training for Image Captioning 原文地址 时间：2017
image caption笔记（六）：《self_critical (scst)》
zlrai5895的博客
12-04 1544
现在image caption主要存在的问题有： 1、exposure bias：模型训练的时候用的是叫“Teacher-Forcing”的方式：输入RNN的上一时刻的单词是来自训练集的ground-truth单词。而在测试的时候依赖的是自己生成的单词，一旦生成得不好就会导致误差的积累，导致后面的单词也生成得不好。 2、模型训练的时候用的是cross entropy loss，而evaluat...
“Paper + Code”才是研读论文的正确姿势 | PaperDaily #02
Paper weekly
09-30 4737
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。 这是 PaperDaily 的第 2 篇文章 [ 机器学习 ] Neural Factorization Machines for Spar
CVPR2007 Bag-of-Words模型在图像识别中的应用
"CVPR2007_tutorial_bag_of_words" 在计算机视觉领域，"Bag of Words"（BoW）模型是一种广泛应用于图像分类、物体识别和自然场景理解的技术。该模型最初源于文本处理，后来被成功地应用到图像特征表示上。CVPR2007...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值