分享回顾 | 基于深度学习的神经语义搜索

本文内容主要分为以下四部分：

神经搜索的背景及优势

一、什么是神经搜索？

神经搜索 (Neural Search) 由 Jina AI 首创，可以理解为 Deep Learning for Search 的简称，是指借助深度学习技术，使用非结构化数据，搜索非结构数据。

神经搜索包括两个重要部分：信息搜索及深度学习技术。

1、神经搜索之信息搜索

提到搜索，最直观的理解就是 Google、百度、Amazon 网站首页上的搜索框，用户在搜索框里输入关键词，搜索系统给用户返回和关键词匹配的相关内容。

实际上搜索不仅仅是我们现在看到的交互页面，它还包括其他场景，例如用搜索实现一个聊天机器人，用户问一双鞋的格，聊天机器人返回一些相关信息。

搜索的输入也可以是 PDF 文档，返回也是 PDF。PDF 里包含的信息不是简单的关键字，而是大段文本。类似的搜索问题用传统搜索方法难以解决。

此外还有听歌识谱，搜索的输入是音乐片段，返回跟它最相似的音乐。或者输入一个关于足球的短视频，搜索到和足球相关的短视频片段。

同样也可以输入一双鞋的图片，返回和这张图片相似的商品。如淘宝淘立拍，用户在手机上拍一张商品照片，可以直接从淘宝找到商品的链接信息。

使用神经搜索技术，上述比较复杂的搜索场景，就比较容易实现。

上文中提到的图片、音频、视频、3D 模型等，都是非结构数据。与非结构化数据相对应的，是结构化数据。

结构化数据：以常用的数据库为代表，所有信息都是定义好的，可以直接进行快速搜索。

比较常见的是以关系数据库为代表的数据，或 Excel 里所有值的含义都是定义好的，可以直接用 SQL 语句搜索。

非结构化数据：没有明确定义好的、可供搜索的结构化信息。

例如给定一张图片，在计算机中它表达的只是一个三通道的 RGB 数值，计算机无法理解这张图片里面包含的具体信息——它里面包含的是猫是狗，还是风景？它只是计算机中的数字而已，不能直接对非结构化数据进行搜索。

2、神经搜索之深度学习技术

利用深度学习技术，可以实现非结构化数据的搜索。例如给定非结构化数据，借助深度神经网络模型，对非结构化数据进行转换，例如识别图片的文字描述，或离散的文字标签。

借助深度神经网络，可以对图片进行特征提取。这个特征是一些浮点数组，里面主要使用的方法，是借助神经网络提取非结构化数据的关键特征，然后基于这个特征（结构化数据），采用搜索算法进行搜索识别。

把非结构化数据转换成文字，也可以通过传统的文字搜索技术，对视频音频进行检索。

转化成文字的方法存在天然劣势，我们很难用文字完全覆盖或表达出原始数据里表达的信息。例如给定一张图片，可以直接对图片类别打标签，假如图片上是一只狗，但是可能还包含一些详细信息，如狗的颜色、品种、年龄等，这些信息都很难用一段文字完全表达出来。

我们比较推崇直接采用关键特征的方式解决这种问题，因为如果把非结构化数据转换成一些特征，那么它的搜索问题，就转变成了语义特征相似的搜索问题。

给定