《图像搜索的前世今生》阅读摘要

目录

问题

1）语义鸿沟问题

2）scalability问题（可扩展性）

3）特征提取问题---深度学习的威力

四个基本要求

1、相关性

2、覆盖率

3、伸缩性

4、用户体验

电商图像搜索的关键技术

1、相关性

1）分类

2）主体检测

3）图像特征

2、覆盖率

1) 索引的覆盖率

2）特征的覆盖率

3）搜索的覆盖率

3、伸缩性

---

本文章是阅读阿里研究院华先胜的《图像搜索的前世今生》摘要，文章链接：

   https://yq.aliyun.com/articles/47859

问题

1）语义鸿沟问题

2）scalability问题（可扩展性）

提到四种大规模图像索引方法：kdtree、hash、knn、倒排表，作者推荐视觉词袋+倒排表的方式做大规模图像搜索

3）特征提取问题---深度学习的威力

什么样的特征才是有效的？答案是让我们“认为的”相似的图像，在特征上也是相似的。这个问题真正取得进展确实是在深度学习出来之后它可以让我们去按照自己所想要达到的目标去学习一个神经网络通过这个神经网络去抽取图像的特征。

实际上搜索跟识别是密不可分的，尤其是在做大规模图像搜索时识别、检测必不可少。识别有时也是要通过搜索来完成的，例如如果你类别非常多的时候，往往要通过搜索的方法来实现而不是通过模型的方法来做识别。所以搜索和识别在大数据时代的界限变得越来越模糊了它们之间互相需要互相利用。

四个基本要求

1、相关性

这个是最基本的要求，就是说输入一幅图像，输出的图像要相关，也就是输出的图像“跟它一样”或者相似。例如产品同款产品不管颜色是否一样但它是相同的东西这就叫做相关性。

2、覆盖率

用户希望搜什么都会给我结果。甚至在电商的搜索引擎中，如果用户输入一个非商品，该怎么反馈都会涉及到覆盖率的问题。

3、伸缩性

涉及到两方面：一、是否能够高效的处理大量的商品，当商品变化时是否能够非常快速的将商品信息更新到索引里去。

4、用户体验

电商图像搜索的关键技术

1、相关性

1）分类

首先要知道一个商品的大致类型。例如需要知道一个商品是上衣还是鞋子，如果是上衣要知道是男士上衣还是女式上衣。这是非常关键的第一步。

2）主体检测

通常电商图片的背景非常复杂，主体检测可以排除背景的干扰。

3）图像特征

当知道商品在图片中的位置后最关键的一条是到底用什么特征来描述商品，如何让这个特征反应商品的特性，这个就是在前面讲到的怎样让特征去比较两幅图像。

基本的方法还是利用深度学习的工具force神经网络收敛到一个点，使得输出的特征能够反应商品的特性，例如种类、风格、图案和颜色。

综上所述可以从分类、主体检测和图像特征三个角度改善相关性。

2、覆盖率

覆盖率从三个角度讲。

1) 索引的覆盖率

这是一般意义的覆盖率，简单的讲就是索引更多的商品

2）特征的覆盖率

特征的覆盖率是指商品的特征描述可以覆盖各个种类，不能只是做鞋子或者只做服装。为了描述的精准，不同类型的商品一般用不同的特征来描述。

3）搜索的覆盖率

这覆盖率是电商场景下所独有的。因为电商只有商品图像的索引，没有别的索引，用户输入的不是电商产品的图片该怎么办？比如用户在街上看到一条很可爱的狗并拍照后在平台上搜索该怎么处理呢？

淘宝上可能没有卖狗的吧，这个时候我们可以把狗识别出来然后返回给用户一些狗相关的产品这是一种解决方案。如果是风景、食品的话也可以对风景进行识别对食品里面的热量进行识别然后把这些信息返回给用户。

如果一定要返回电商商品的话比如用户拍了一朵花也可以force搜索引擎还是到fashion这个领域去搜那么搜出来的衣服、饰品就会跟用户输入的图像有一点关系看上去在某个方面很类似如下图。

3、伸缩性

实现伸缩性包括两个方面：一是要大量机器做并发，二是提高每台机器的效率。