人大金仓数据库KingbaseES 发挥全新潜能——kdbvector在领域中的应用举例

最新推荐文章于 2024-10-30 22:57:10 发布

沉舟侧畔千帆过_

最新推荐文章于 2024-10-30 22:57:10 发布

阅读量1.1k

点赞数 17

文章标签：数据库 dba kingbase 人大金仓金仓数据库

本文链接：https://blog.csdn.net/arthemis_14/article/details/135140452

版权

金仓数据库KingbaseES 发挥全新潜能——kdbvector在领域中的应用举例

关键字：

向量索引、文本搜索、图像识别、推荐系统、视频搜索、人大金仓、KingbaseES

kebvector发挥全新潜能

随着数据规模的不断增长和复杂度的提升，我们对于高效处理和准确分析数据的需求也与日俱增，在这个信息爆炸的时代，如何快速找到我们所需要的信息、识别图像视频和提供个性化推荐已经成为众多行业的重要挑战之一。

目前来说，由于机器学习和深度学习的出现，向量得到了十分广泛的应用。在目前来说，向量检索的场景十分多，比如有广告投放、语义检索、图像识别、图像检索、语音识别、商品推荐等，都需要应用向量技术。在这些挑战中，kdbvector从侧重于向量化存储查询的角度呈现出了巨大的潜力，作为一种高性能的向量化库，kdbvector旨在将文本数据、图像视频数据以及用户与物品的行为数据转化为向量表示，有效地进行相似度计算和基于向量的检索。

应用场景介绍
1. 文本搜索

在当今的电商平台中，商品搜索的准确性和速度直接关系到用户体验和购买转化率。传统的基于关键词匹配的搜索方法在处理大量商品和用户搜索信息时存在着性能瓶颈与匹配准确性的限制。这就引入了kdbvector在文本搜索中的应用，通过将商品描述和用户搜索挂见此转换为向量表示，kdbvector可以基于向量相似度计算更快地找出与用户搜索意图最相符合的商品。

向量在自然语言处理（NLP）领域的一个主要应用是文本搜索引擎，这是一个很好的工具，可以帮助用户找到他们正在寻找的信息，它甚至可以显示难以找到的信息，文本搜索引擎将用户输入的关键字或者语义与文本数据比较，然后返回符合特定条件的结果。

本部分将介绍如何构建文本搜索引擎，它通过BERT将文本转换为固定长度的向量，将kdb_vector作为向量数据库进行存储和向量相似性搜索，然后使用数据库将其生成的向量id映射到文本数据。

图2-1 文本搜索引擎工作流程

1. 图像识别

随着社交媒体和电子商务平台上用户上传的图像数量急剧增加，如何识别和管理海量的图像资源成为了挑战，传统的图像识别方法往往需要耗费大量的计算资源和时间，难以应对大规模的图像数据处理需求。像谷歌类的主要搜索引擎已经为用户提供了按照图像搜索的选项，此外，有些电子商务平台已经意识到此功能为在线购物者带来的好处，亚马逊将图像搜索整合到其智能手机应用程序中。

如果想要将kdb_vector应用到图像搜索中，它的应用场景为检测图像模式并返回与用户上传的图像相似的图像。如果想要构建这样的图像相似性搜索系统，首先上传自己准备的图像数据集，可以使用YOLOv3进行对象检测，使用ResetNet-50进行图像特征提取。在经历了两个machine learning模型后，图像可以被转换为256维向量，然后用户将向量存储在kdb_vector中。后来每当用户通过这些模型将图像转换成新的图片向量时，并与之前存储在kdb_vector中的向量进行比较，然后返回最相似的图像向量id。

图2-2反向图像搜索系统的工作流程

1. 问答系统

问答系统是属于自然语言处领域的常见现实应用。典型的QA系统包括在线客服服务系统、QA聊天机器人等，大多数问答系统可以分为：生成或检索、单轮或多轮、开放域或特定问答系统。

此部分将介绍如何构建一个QA系统，问答系统可以将新用户问题链接到以前存储在矢量数据库的大量答案。如若要构建这样的聊天机器人，请准备好自己的问题数据集和相应的答案。将问题和答案存储在关系数据库中，然后使用BERT（用于自然语言处理（NLP）的机器学习（ML）模型）将问题转换为向量，这些问题向量可以在kdb_vector中存储和索引，当用户输入一个新的问题时，BERT模型也会将其转换为向量，kdb_vector会搜索与该新向量最相似的问题向量，QA系统会返回最相似问题的相应答案。

图2-3 QA聊天机器人的工作流程

1. 推荐系统

推荐系统是信息过滤系统的一个子集，可以用于各种场景，包括个性化的电影、音乐、产品推荐。与搜索引擎不同，推荐系统不需要用户准确地描述他们的需求，而是通过分析用户的行为来发现用户的需求和兴趣。

本章节将介绍一个电影推荐系统，该系统可以推荐符合用户兴趣的电影。要构建这样一个推荐系统，首先下载一个与电影相关的数据集，比如MovieLens 1M，或者您可以自己准备自己的数据集，其中应该包括用户对电影的评分、用户的人口统计特征和电影描述等信息。使用PaddlePaddle组合用户id和特征，并将它们转换为256维向量，以类似的方式将电影id和特征转换为矢量，将电影向量存储在kdb_vector中，并使用用户向量进行相似度搜索。如果用户向量与电影向量相似，kdb_vector将返回电影向量及其ID作为推荐结果，然后使用存储在kdb_vector另外的表中的电影向量ID查询电影信息。

图2-4 推荐系统流程

1. 视频搜索

如今，人们在看完自己喜欢的电影或者视频以后，可以很容易地截图，并通过各种社交网络平台分享自己的想法，当粉丝们看到截图的时候，如果电影的名字没有在帖子中明确标记出来，他们会很难分辨这是哪部电影。为了找出电影的名字，人们可以利用视频相似度搜索系统，用户可以通过截屏图像获得包含与上传图像相似的关键帧的视频或者电影。

本部分将介绍如何构建视频相似度搜索系统，可以使用Tumblr上大约100个动画gif来构建系统，同时用户也可以准备自己的视频数据集，该系统首先通过使用OpenCV提取视频中的关键帧，然后使用ResNet-50获得每个关键帧的特征向量，所有的向量在kdb_vector中存储和搜索，它将返回相似向量的id，然后将id映射到KES中存储的相应视频。