pyimagesearch-2 三种图像搜索引擎：按元数据搜索、按示例搜索和混合

原文链接

您想要构建什么类型的图像搜索引擎？您的搜索引擎是否依赖于与图片相关联的标签，关键字和文字？然后你可能正在通过元数据图像搜索引擎构建搜索。

您是否实际检查图像本身并试图了解图像包含的内容？您是否尝试量化图像并提取一组数字来表示图像的颜色，纹理或形状？然后，您可能会通过示例图像搜索引擎构建搜索。

或者你是否将上述两种方法结合起来？您是否依赖与图像相关的文本信息，然后量化图像本身？对我来说听起来像混合图像搜索引擎。

让我们继续分解这些类型的图像搜索引擎，并尝试更好地理解它们。

按元数据搜索

你去谷歌。您将看到所有熟悉的徽标，您输入关键字的文本框以及两个按钮：“Google搜索”和“我感觉很幸运”。这就是我们作为文本搜索引擎所喜爱和崇拜的东西。手动输入关键字并查找相关结果。

事实上，元数据图像搜索引擎与上面提到的文本搜索引擎略有不同。元数据图像搜索引擎的搜索很少检查实际图像本身。相反，它依赖于文本线索。这些线索可以来自各种来源，但两种主要方法是：

手动注释：
在这种情况下，管理员或用户提供建议图像内容的标签和关键字。例如，让我们来看看我最喜欢的电影Jurassic Park的屏幕截图。

我们会将哪些类型的标签或关键字与此图片相关联？好吧，我们看到有两只恐龙，但更确切地说，它们是速龙。显然，这是某种厨房，但它不是像你家或公寓那样的厨房。一切都是不锈钢和工业级 - 这显然是一个餐厅厨房。最后，我们看到蒂姆，一个看起来非常害怕的男孩。只需看一下这个图像一两秒，我们就会想出六个标签来描述图像：恐龙，速龙，厨房，工业厨房，男孩和害怕。这是手动注释图像的示例。我们正在做这项工作，我们正在为计算机提供暗示图像内容的关键字。
上下文提示：
通常，上下文提示仅适用于网页。与手动注释不同，我们必须手动提供标签，上下文提示会自动检查图像周围的文本或图像所在的文本。这种方法的缺点是我们假设图像的内容与网页上的文本相关。这可能适用于维基百科等网站，页面上的图像与文章的内容相关，但如果我要在此博客上通过元数据算法实现搜索，则会（错误地）将上面的侏罗纪公园图像关联起来与图像搜索引擎相关的一堆关键字。虽然我个人觉得这很有趣，但它证明了语境暗示方法的局限性。

通过使用文本关键字（无论是上下文提示的手动注释）来表征图像，我们实际上可以将图像搜索引擎构建为文本搜索引擎并应用来自信息检索的标准实践。如上所述，通过元数据实现搜索的图像搜索引擎的最佳示例是您使用文本关键字父级而不是图像本身内容的标准Google，Bing或Yahoo搜索。接下来，让我们检查一下考虑了图像实际内容的图像搜索引擎。

按示例搜索

想象一下，你是Google或TinEye。您有数十亿可搜索的图像。你打算手动标记每张图片吗？没门。这太耗费时间，乏味且昂贵。情境提示怎么样？这是一种自动方法，对吧？当然，但请记住我上面提到的限制。只依赖于同一网页上显示图像的文本，您可能会得到一些非常奇怪的结果。

相反，您可以构建“按示例搜索”图像搜索引擎。这些类型的图像搜索引擎试图量化图像本身，并称为基于内容的图像检索（CBIR）系统。一个粗略的例子是通过图像中像素强度的平均值，标准偏差和偏斜来表征图像的颜色。（快速说明：如果您正在构建一个简单的图像搜索引擎，在许多情况下，这种方法实际上非常有效）。

给定图像数据集，我们将在数据集中的所有图像上计算这些矩，并将它们存储在磁盘上。当我们量化图像时，我们正在描述图像并提取图像特征。这些图像特征是图像的抽象，用于表征图像的内容。从一组图像中提取特征的过程称为索引。

好的，现在我们已经从数据集中的每个图像中提取了特征。如何进行搜索？那么，第一步是为我们的系统提供一个查询图像，这是我们在数据集中寻找的一个例子。以与索引图像完全相同的方式描述查询图像。然后，我们使用距离函数（例如欧几里德距离）将我们的查询特征与索引数据集中的特征进行比较。然后根据相关性（欧几里得距离越小意味着更“相关”）对结果进行分类并呈现给我们。

通过示例图像搜索引擎搜索的示例包括TinEye，Incogna和我自己的Chic引擎和ID My Pill。在所有这些示例中，从查询图像中提取特征并将其与特征数据库进行比较。