![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
image caption
文章平均质量分 72
lifeGWT
我喜欢学习技术
展开
-
论文笔记:Semantic Compositional Networks for Visual Caption
Semantic Compositianal Networks for Visual Captional这篇文章有意思的地方在于它处理语义概念(semantic concept)的思路。在这之前看过一篇文章(Image Caption with Semantic Attention)和这一篇比较像,在encoder阶段都提取了图片的卷积特征以及语义概念特征两种特征用于decoder。而且,也是...原创 2018-08-09 10:29:47 · 1340 阅读 · 10 评论 -
论文笔记:Knowing When to Look:Adaptive Attention via A Visual Sentinel for Image Captioning
这篇文章首先认为,非视觉词比如the,of等的挖掘,并不需要视觉信息,它们的梯度反而会影响到视觉信息的有效性,因此该文引进一个参数,来控制attention中视觉信息和历史信息的比重,作者设计了蕴含历史信息的visual sentinel,来表示已生成文本的历史信息。相当于从时间的维度来决定什么时候看,看多少。此外,作者还改变了空间attention机制。首先,作者提出了改进的spatial ...原创 2018-08-10 10:14:42 · 1861 阅读 · 0 评论 -
论文笔记:Reference based LSTM for Image Captioning
Reference based LSTM for Image Captioning 这篇文章,在训练阶段和预测阶段都加入了references:在训练阶段通过references来判断训练captions中出现的每个单词的重要性;在预测阶段则在选择生成的caption时,使用似然概率和consensus score的加权平均来权衡生成句子的好坏,这样可以使选出的句子更具准确性。...原创 2018-08-16 12:11:20 · 670 阅读 · 0 评论 -
论文笔记:Skeleton Key_Image Captioning by Skeleton-attribute Decomposition
Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition这篇文章的作者提出,人类认识图的过程,应该是先定位图片的位置和他们的关系,然后才是详尽的说明物体的属性。这篇文章基于此设计了一种coarse-to-fine的方法,首先生成skeleton sentence,然后生成相应的属性短语,最后将这两部分合成完整的capt...原创 2018-08-17 14:15:10 · 830 阅读 · 0 评论 -
论文笔记:Attention Correctness in Neural Image Captioning
Attention Correctness in Neural Image Captioning 这篇论文在attention上做足了文章,分别建立了一个有监督attention训练机制,和新的评价标准,Attention Correctness。Supervised attention model在attention机制中,是以 来表示t时刻在视觉块a上的关注度,具体如下。...原创 2018-08-17 14:20:47 · 798 阅读 · 0 评论