基于模板--Baby Talk: Understanding and Generating Simple Image Descriptions

---

论文名称：Baby Talk: Understanding and Generating Simple Image Descriptions
论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6522402
2013年 TPAMI

---

这篇论文主要介绍的就是基于模板的caption生成方法。而且也是经典文章之一。

---

• 检测对象属性和介词，并通过CRF共同推理出一个合适的单词填入槽中

• baby talk 所需要的信息总的来说需要三部分的信息：
  1）object信息（名词）
  2）object的相对位置关系（介词）
  3）object的附加信息的修饰词（形容词）
  

使用baby talk的方法生成caption语句的效果图

整体结构图

• 1、object & stuff 检测器检测出候选对象，object:图像的对象检测器，stuff：图像的背景检测器
• 2、每个候选区域由一组属性分类器处理
• 3、两个候选对象之间的关系（由介词关系函数处理）
• 4、CRF是构造包含由1)-3)计算的一元图像电势，以及从大文档语料库计算的基于高阶文本的电势，
  （CRF[条件随机场]推断对象属性和介词，得到一个合适的单词，填入槽中）
• 5、预测图形的标记，语言模型预测连接词（there， is）
• 6、基于标记生成句子
  句子生成用m-gran或者基于简单模板的方法

CRF结构图

• CRF引入Z变量减少成对电势 【CRF预测图像的最佳标记】
• CRF节点：①对象或者stuff（背景信息）
  ②修饰对象的属性
  ③引入对象对之间空间关系的介词
• 大多数CRF只接受一元成对电势 -->三元电位引入一个Z节点，变成a set of 一元成对电势
• Template 和simple Decoding 结果对比图

CRF函数的计算公式

Templated 和简单decoding的结果对比

• 好的结果图
  

• 坏的结果图
  

为什么说是坏的结果图？
因为生成的caption语句中所检测的对象类别是错的。

生成句子错误的三个原因：

1、错误的对象检测器，导致丢失对象
2、检测出错误类别的对象检测器
3、错误的属性预测器