图像描述学习笔记（一）——常用的图像描述方法概述

图像描述学习笔记（一）——常用的图像描述方法概述

1.概念

图像描述：就是结合计算机视觉（Computer Vision）和自然语言处理（Nature Language Process）的知识，使计算机具有“看图说话”的能力的技术。在图像描述任务中，计算机不仅要识别输入图像中物体的属性，还要使用正确的自然语言表示出来。

2.图像描述方法

在最初的图像描述任务中使用的是基于模板和检索的方法。

2.1基于模板的方法

• 在此方法中生成的句子有固定的模板，对图像进行检测，识别出图像中物体、场景、动作等相关元素，然后在模板中填充相关的词语组成句子。
  2010年，Farhadi等提出了一种基于模板的算法，作者当时随机选用了PASCAL 2008数据集中的1 000张图片,经过人工添加描述和标签,制作了自己的数据集，通过支持向量机（SVM）来检测图像中的物体、动作、场景三个元素，之后填充模板形成图像描述的句子。
  2011年。Li等使用了N-grams方法来提取与图像中检测到的物体相对应的短语来填充模板；之后，Kulkarni等利用条件随机场（CRF）从大量描述性文本池中提取出统计数据来平滑基于计算机视觉的检测和识别算法的输出，以此来确定描述图像的最佳短语。
  Mitchell等通过利用常用语法中的单词统计信息来处理模板填充过程,使用生成器对视觉系统输出的噪声进行过滤和约束来构建语法决策树，从而生成计算机视觉系统所见内容的详细描述。

基于模板的方法可以生成对图像的准确描述，但是生成的内容单一且长度不可变，另外需要对图像进行大量标注