向量数据库的应用场景和产品介绍

向量数据库应用场景

在初步了解向量数据后，我们来进一步看一下它的应用场景。基于现代数据库的向量检索特性，我们可以将向量数据应用在多个特定场景中。其中，推荐系统是我们日常最常见的应用之一。例如，在刷视频、新闻、购物等相关推荐时，向量数据可以发挥重要作用。

除此之外，图像检索也是向量数据的应用场景之一。相信大家应该都使用过图像搜索功能，现在许多电商APP都具备通过图片扫描产品直接进行搜索的功能，而无需我们自己手动输入产品名称。例如，我们想要购买一台电脑，只需用手机拍摄该电脑，APP即可帮助我们搜索同款产品。类似的，人脸识别、OCR技术用于识别图片中的某些信息等也是向量数据的应用场景。

除了上述举例的之外，许多非结构化数据也是向量数据库可以处理的。非结构化数据指的是那些不能单纯使用传统关系模型描述的数据，如音频、视频、图像等。通过转化处理，这些非结构化数据可以得到相应的数据库，再进行关键性分析。
首先，假设我们有一个数据集，里面包含一万张图片。将这些图片通过embedding算法转化成向量数据，比如1000维的向量。然后，这些向量数据会被存储到一个向量数据库中。

当数据库构建完毕后，我们如何找到与指定图片相似的图片呢？可以通过search操作来完成。例如，我指定一张图片，通过相同的embedding模型，在embedding过程中会引入领域中的大语言模型。通过大语言模型的能力，我们可以得到这张图片的向量表示，然后将其传送到向量数据库中进行检索。

在检索过程中，我们利用向量之间的相似度关系进行匹配。当我们找到匹配的图片时，可以选择返回最相似的5张图片。每张图片都有一个距离描述与指定图片的相似度。这个距离越小，说明这两张图片越相似。

通过找到匹配图片的ID和路径，就可以在前端展示搜索结果了。

（二）向量数据库产品

目前市场上存在许多向量数据库产品。从国内和国外两个维度来看，国内有Milvus Manu、京东的VEARCH、蚂蚁金服的ZSearch等产品。Milvus是目前向量数据库赛道里较为热门的产品，而京东和蚂蚁更多的是将它们的应用于内部场景，外部使用较少。

在海外来看，大公司都有自己的向量数据库产品，比较知名的有如Qdrant和Weaviate等等。此外，Pinecone是目前商业向量数据库市场最热门的产品。国内的商业数据库产品有联汇和爱可生自己开发的向量数据库产品，当然这些产品都是基于开源产品进行包装的。

从三个维度来看，这些向量数据库可以分为：向量检索库、向量插件和向量字段。在检索库方面有Meta的Faiss、微软的SPTAG，谷歌的ScaNN等等。插件方面包括ES、OpenSearch和PG等产品中都集成了向量的特性。而向量字段则是数据库本身集成的向量特性，但功能相对较弱。
向量数据库的发展趋势

随着人工智能的崛起，相信大家都已经感受到从去年ChatGPT诞生到现在AI所带来的冲击。只要人工智能持续发展，与其相关的生态链也会随之持续升温。下图列举了向量数据库中几个知名的产品及其融资情况。可以看到，像Pinecone和Milvus这两个典型的产品，他们的融资均已经超过1亿美金。在基础软件领域，这个金额已经是非常可观的了，特别是这些融资大部分都发生在疫情之后，这是一个很难得的趋势。