静态图片检索【1】

这次讲的主要内容是静态图像检索（iindexing and retrieval of still image），内容安排如下：

• Motivation: 为什么要研究这个技术。
• Challenge : 研究过程中遇到什么问题
• Current system and problem : 现在的系统与问题
• Colour-based retrieval : 基于颜色的检索

1.1 为什么要研究这门技术

越来越多的多媒体资源涌现在互联网上，给予了人们更多的选择。但同时，也意味着要准确找到你想要的资源也越来越难了。随着发展，用户想要的是更好的响应速度，多媒体支持，搜索范围，搜索种类，语意层次介绍，人机交互，相关性反馈。

对于比较流行的如CBIR（Content Based Image Retrieval），其面临的问题包括有：计算复杂度随着功能的增加而变大，索引时间基于数据库的大小，访存延迟等。

这里先来介绍一下什么是CBIR. 与一般的搜索引擎输入文字搜索图片不一样，它建立索引的方式是通过提取底层特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两个图片的相似程度。其主要包括特征提取、相似性量化、查询模式(By Example, sketch or description)、弥补语义鸿沟(即semantic gap，处理的主要技术包括相关反馈、图像分割、建立分类模型等)。

思考一下，怎样的查询界面才称得上是好的？

2.基于颜色的检索

这里先介绍一下什么是直方图（Histogram）。直方图，即平时看到Excel里面的柱状图，但在图像处理里，一般指对每个像素的数据统计，X轴表示量化的数值（如RGB的0~256），Y轴表示有多少个这样的点。X轴的标签不止一种，可以是RGB、灰阶等，其具体应用包括PS里的色阶、RGB通道调整等。

部分图片可以通过比较其直方图等特征得出匹配度，然而，它并不是万能的。比如，当把图片分割成几部分，然后求原图与分割后的图片的匹配度，其效果就没有那么好了。另一方面，当一张图片进行过如饱和度、亮度等调整，也会影响直方图的比较。这时，我们需要比较颜色的相识度。如在RGB立方体里，两种颜色的相识度表示某两点的距离一样。

另外，用不同的模型去比较颜色时，其效果也不一样。这里介绍一下三原色（additive color）和减色模式(subtractive color)。 三原色，又称RGB颜色模型，主要用于 电子系统中检测，表示和显示图像，比如电视和电脑，以黑为始，以白为终，当加入更多的颜色，则会显得更明亮更白。而 减色法，对应的是CMY模型，当画家绘画调色时，一般使用此模型。具体见上图。

在实践中，常使用的方法是颜色聚类，其具体算法包括K-MEANS等。但它仍有一定的局限性？！

3.0 基于颜色的检索

什么是基于颜色的检索？就是字面上的意思。其特点有：使用局部直方图和相关反馈。使用局部直方图指对你感兴趣的那部分图片分配一个权重参量（weighting factor ），而相关反馈则指用户可以根据反馈结果修改权重值（正或负）。该检索的具体步骤有：

1.计算出图像的颜色直方图并保存（其包含了特征向量和元数据等）。

2.比较上传图片与数据库里所以图片的颜色特征时。

3.根据用户反馈，再次调整结果。

注意，当比较颜色特征时，要结合人的视觉感知特点，如把颜色空间模型从RGB转向HSV模型。

对于此检索的颜色聚类，优点是计算量减少，能更好地呈现彩分布特征（ statistical color distribution ）