c#依赖腾讯向量数据库实现商品相似度检索

已于 2023-12-25 14:32:24 修改
阅读量525 收藏 8
点赞数 9
文章标签： 数据库 c# 开发语言 人工智能
于 2023-12-25 12:04:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013315209/article/details/135195770
版权

本文介绍可用于实现商品检索，商品相似度推荐，根据用户行为标签用户推荐。
使用之前需要对向量数据库和Embedding有一些基本的了解，目前国产的向量产品我体验下来发现腾讯的是封装的比较简单的，同时腾讯也开源了向量模型不需要我们自建，为小公司使用节约了资源。

具体什么是向量数据库我这就不过多介绍了，下面我们只讲在c#中如何实现。

具体实现方法如下

  1. 需先申请腾讯向量数据库，目前是公测阶段不收取费用。但是需要申请审核。
    在这里插入图片描述

  2. 开通Embedding功能，此功能是根据模型数据向量化。
    在这里插入图片描述

  3. 可以直接登录在腾讯数据库控制台创建db也可以通过接口创建
    在这里插入图片描述

  4. 创建一个collection用于存放数据
    在这里插入图片描述

  5. 选择插入数据，此时我们并不知道需要插入的数据的向量值是多少，此功能插入会自动转化向量
    在这里插入图片描述

  6. 然后我们就可以通过查询接口查询到数据了
    在这里插入图片描述

下面是c#中实现的代码

下载地址
使用方法

  /// <summary>
    /// 腾讯向量数据库api
    /// </summary>
    [Route("[controller]/[action]")]
    public class API_TencentVectorDBController : Controller
    {
        /// <summary>
        /// 创建库
        /// </summary>
        /// <param name="database"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DataBaseCreate(string database)
        {
            var ret = DataBase_Handle.Create(database);
            return Json(ret);
        }

        /// <summary>
        /// 删除库
        /// </summary>
        /// <param name="database"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DataBaseDrop(string database)
        {
            var ret = DataBase_Handle.Drop(database);
            return Json(ret);
        }

        /// <summary>
        /// 获取库
        /// </summary>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DataBaseGetList()
        {
            var ret = DataBase_Handle.GetList();
            return Json(ret);
        }

        /// <summary>
        /// 创建集合
        /// </summary>
        /// <param name="createEntity">集合基本对象，创建时indexes为空即可</param>
        /// <param name="embedding">向量对象</param>
        /// <param name="indexType">向量指定索引类型</param>
        /// <param name="dimension">指定向量维度[1,4096]，如果配置Embedding则为空</param>
        /// <param name="metricType">指定向量之间距离度量的算法L2,IP,COSINE</param>
        /// <param name="fileds">其他字段</param>
        /// <param name="nlist">指索引中的聚类中心数量。取值类型：uint64。取值范围：[1,65536]</param>
        /// <param name="M">indexType类型为HNSW时为每个节点在检索构图中可以连接多少个邻居节点一般可是只为16，其余的则为 指乘积量化中每个子向量的维度</param>
        /// <param name="efConstruction">搜索时，指定寻找节点邻居遍历的范围。数值越大构图效果越好，构图时间越长一般可设置为200</param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult CollectionCreate(Collection_Entity.CollectionEntity createEntity,string embedding, string indexType, int? dimension, string metricType, string fileds, int? nlist = null, int? M = 16, int? efConstruction = 200)
        {
            //向量信息
            if (!string.IsNullOrEmpty(embedding))
            {
                createEntity.embedding = JsonConvert.DeserializeObject<Collection_Entity.Embedding>(embedding);
            }

            //字段信息
            List<string> _fileds = new List<string> { };
            if (!string.IsNullOrEmpty(fileds))
            {
                _fileds = JsonConvert.DeserializeObject<List<string>>(fileds);
            }

            //创建向量集合
            var ret = Collection_Handle.Create(createEntity, indexType, dimension, metricType, _fileds, nlist, M, efConstruction);

            return Json(ret);
        }

        /// <summary>
        /// 删除集合
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult CollectionDrop(MySQLCommon.MC_VectorDb.Tencent.Common.BaseEntity entity)
        {
            var ret = Collection_Handle.Drop(entity);
            return Json(ret);
        }

        /// <summary>
        /// 查询指定的库包含的所有集合
        /// </summary>
        /// <param name="database"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult CollectionList(string database)
        {
            var ret = Collection_Handle.List(database);
            return Json(ret);
        }

        /// <summary>
        /// 获取集合信息
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult CollectionDescribe(MySQLCommon.MC_VectorDb.Tencent.Common.BaseEntity entity)
        {
            var ret = Collection_Handle.Describe(entity);
            return Json(ret);
        }

        /// <summary>
        /// 清空指定集合的数据与索引
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult CollectionTruncate(MySQLCommon.MC_VectorDb.Tencent.Common.BaseEntity entity)
        {
            var ret = Collection_Handle.Truncate(entity);
            return Json(ret);
        }

        /// <summary>
        /// 清空指定集合的数据与索引
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult AliasSet(Alias_Entity.AliasBaseEntity entity)
        {
            var ret = Alias_Handle.Set(entity);
            return Json(ret);
        }

        /// <summary>
        /// 删除集合的别名
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult AliasDelete(Alias_Entity.AliasBaseEntity entity)
        {
            var ret = Alias_Handle.Delete(entity);
            return Json(ret);
        }

        /// <summary>
        /// 给 Collection 中插入向量数据。如果 Collection 在创建时，已配置 Embedding 参数，则仅需要插入文本信息，Embedding 服务会自动将文本信息转换为向量数据，存入数据库
        /// </summary>
        /// <param name="insert"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DocumentInsert(Document_Entity.InsertDocumentsEntity insert)
        {
            var ret = Document_Handle.Insert(insert);
            return Json(ret);
        }

        /// <summary>
        /// 精确查找与查询条件完全匹配的向量
        /// </summary>
        /// <param name="query"></param>
        /// <param name="filter"></param>
        /// <param name="limit"></param>
        /// <param name="offset"></param>
        /// <param name="retrieveVector"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DocumentQuery(Document_Entity.QueryResponDocumentEntity query,string filter, int limit = 100, int offset = 1,bool? retrieveVector=false)
        {
            if (query.query == null)
            {
                query.query = new Document_Entity.QueryResponDocumentEntity.Query
                {
                    limit = limit,
                    filter= filter,
                    offset = offset,
                    retrieveVector = retrieveVector
                };
            }
            var ret = Document_Handle.Query(query);
            return Json(ret);
        }

        /// <summary>
        /// 向量检索
        /// </summary>
        /// <param name="seach"></param>
        /// <param name="embeddingItems"></param>
        /// <param name="outputFields"></param>
        /// <param name="filter"></param>
        /// <param name="limit"></param>
        /// <param name="retrieveVector"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DocumentSeach(Document_Entity.SeachResponDocumentEntity seach, string embeddingItems, string filter, string outputFields="[]", int limit = 10, bool? retrieveVector = false)
        {
            if (seach.search == null)
            {
                seach.search = new Document_Entity.SeachResponDocumentEntity.Search
                {
                    embeddingItems = JsonConvert.DeserializeObject<List<string>>(embeddingItems),
                    outputFields= JsonConvert.DeserializeObject<List<string>>(outputFields),
                    limit = limit,
                    filter = filter,
                    retrieveVector= retrieveVector
                };
            }
            var ret = Document_Handle.Seach(seach);
            return Json(ret);
        }

        /// <summary>
        /// 删除指定  id（Document ID）的文档
        /// </summary>
        /// <param name="delete"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DocumentDelete(Document_Entity.DeleteResponDocumentEntity delete)
        {
            var ret = Document_Handle.Delete(delete);
            return Json(ret);
        }

        /// <summary>
        /// 字段更新
        /// </summary>
        /// <param name="u"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult DocumentUpdate(Document_Entity.UpdateResponDocumentEntity u)
        {
            var ret = Document_Handle.Update(u);
            return Json(ret);
        }

        /// <summary>
        /// 重建索引
        /// </summary>
        /// <param name="rebuild"></param>
        /// <returns></returns>
        [HttpPost]
        public IActionResult IndexRebuild(Index_Entity.RebuildEntity rebuild)
        {
            var ret = Index_Handle.Rebuild(rebuild);
            return Json(ret);
        }


        /// <summary>
        /// 测试插入数据
        /// </summary>
        /// <returns></returns>
        [HttpPost]
        public IActionResult TestInsert()
        {
            //int total = 0;
            //int totalZS = 0;
            //var goods = MC_Goods.GoodsHandle.Get_Goods_List(new MySQLCommon.WFHXNEW_MSQL.MC_Goods.GoodsHandle.Request_Goods_PageList { bid = 15313381803036672, isShelves = true }, ref total, ref totalZS);

            //先根据平台获取商品
            var resultStr = Common.NewRedis(Emun.redisEumn.商品信息).GetEntity<string>(15313386743795712 + "_Goods_Type_Group_Show");
            var groups_Goods = JsonConvert.DeserializeObject<List<Goods_Type_Group_Show_Class>>(resultStr);
            List<long?> _gids = new List<long?> { };
            //获取商品
            foreach (var item in groups_Goods)
            {
                foreach (var _item in item.goodList)
                {
                    _gids.Add(_item.gid);
                }
            }
            //获取可显示的数据
            var goods = MySQLCommon.WFHXNEW_MSQL.MC_Goods.GoodsHandle.Get_Goods_List_ByRdis(_gids);

            //插入数据
            Document_Entity.InsertDocumentsEntity insert = new Document_Entity.InsertDocumentsEntity
            {
                database = "goods",
                collection = "seach",
                buildIndex = true
            };
            List<object> documents = new List<object> { };
            foreach (var item in goods)
            {
                if (item.gtName != "测试")
                {
                    documents.Add(new { id = item.id.ToString(), text = item.title, title = item.title, short_title = item.short_title, gtName = item.gtName, imgs = item.list_imgs });
                }
            }
            insert.documents = documents;

            //调用接口
            var ret = Document_Handle.Insert(insert);

            return Json(ret);
        }
    }

查询结果
在这里插入图片描述

猜你喜欢（商品相似度）查询时传入商品名称即可返回需要的相似商品。

用户行为分析得到用户的标签，然后根据标签返回相似的商品。、

本文章参考腾讯向量数据库有兴趣的同学可以共同研究下。

程序员-老王
关注
  • 9
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
向量数据库简介
zhangzhechun的专栏
07-05 1331
向量数据库（Vector Database）是一种专门用于存储和查询向量数据的数据库系统。向量数据库通常使用高效的向量索引技术，支持基于向量相似度的查询和检索，可以应用于图像搜索、自然语言处理、推荐系统、机器学习等领域。与传统的关系型数据库不同，向量数据库通常使用基于向量的数据模型，将向量作为数据的核心表示形式。向量数据库可以存储和处理大量的向量数据，支持高效的向量相似度计算和查询。常见的向量索引技术包括 KD-Tree、LSH、HNSW 等，它们可以在高维空间中快速定位和检索向量数据。
10分钟了解向量数据库
热门推荐
zxm2015的博客
05-29 3万+
向量数据库（Vector Database），也叫矢量数据库，主要用来存储和处理向量数据。在数学中，向量是有大小和方向的量，可以使用带箭头的线段表示，箭头指向即为向量的方向，线段的长度表示向量的大小。两个向量的距离或者相似性可以通过汉明距离、欧式距离或者余弦距离得到。图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据存储到向量数据库中，从而实现对图像、文本和音视频的相似性搜索和检索。
什么是向量数据库（Vector Database）
zhixieai的博客
08-03 530
举个例子，当我们想要找到与一张图片相似的图片时，我们可以将这张图片表示成一个向量，并通过ANN搜索找到最相似的向量，也就是相似的图片。ai免费帮你写作文、写论文、写材料、写文案、周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。一些受欢迎的向量数据库有：Qdrant、Pinecone、Weviate、Milvus、Faiss、Vespa。
基于C#编程建立Vector数据类型及对应处理方法
心网千劫
04-10 4261
以C#为例，讲解如何建立一个类，这其中需要考虑需要什么样的数据（成员），什么样的属性以及方法，以及提供给外部程序调用，最后考虑怎么样去实现这样的算法。例如对于一个向量Vector（类）而言，它需要一行数据，元素类型可以是int、double、float形式（或则是泛型）；需要的方法：向量的构造、显示、增删改查、运算符重载、求和、均值、最大值、最小值等处理。本博客利用C#进行编程，新建了一个Vector类（向量），具备向量的常见运算操作和方法；
基于C#实现字符串相似度
神仙别闹的自留地
11-20 435
ABA”和“BBA”的编辑距离为 1，仔细发现我们可以得出如下结论，”ABA“是由 23 个子序列与”BBA“字符串求的的编辑距离集合中取出的最小编辑距离，也就是说在这种情况下我们出现了重复计算的问题，我在求子序列”AB“和”BBA"的编辑距离时，我是由子序列”A“和”BBA“与”B“和”BBA“之间的编辑距离中选出一个最小值，然而序列 A 和序列 B 早之前我已经计算过了，这种重复计算的问题有点像”斐波那契”，正好满足“动态规划”中的最优子结构和重叠子问题，所以我们决定采用动态规划来解决。
opencv 图片相似度比对 C# emgu实现
03-12
opencv 图像图片相似度比对 C# emgu实现 1、opencv 的c#版 emgu 2 、图像相似度比对 3、灰度直方图
c# mysql数据库连接池实现
03-24
c#语言下，使用netcore2.1框架，调用netstandard数据库连接池组件
C#封装SQLite数据库API实现数据开发
04-03
C#封装SQLite数据库API实现数据开发。
C#实现SQL数据库备份与恢复.txt
03-15
C#实现SQL数据库备份与恢复
.NET周报 【5月第2期 2023-05-14】
dotNET跨平台
05-17 227
国内文章XUnit数据共享与并行测试https://www.cnblogs.com/podolski/p/17388602.html在单元或者集成测试的过程中，需要测试的用例非常多，如果测试是一条一条过，那么需要花费不少的时间。从 V2 开始，默认情况下 XUnit 自动配置并行（参考资料），大大提升了测试速度。本文将对ASP.NET CORE WEBAPI程序进行集成测试，并探讨 XUnit...
C# emgu.cv图像识别 从大图中寻找小图,判断存在图的相似度
一个专注于技术研究创新的程序员
02-09 810
这是2个问题，我采用emgu.cv来解决这个识别问题，这里需要在nuget中引用emgu。最近写了一个在一张图片中，截取一部分，通过机器判断截取图片是这张图片的。第一、通过小图去找判断是否存在大图中，第二、小图存在大图的什么位置。
C#实现以图搜图
人工智能AI技术
09-09 6187
最近在逛淘宝时发现了淘宝的图片搜索功能，可能是我太Low了这个技术点已经实现很长时间了。想想自己能不能实现这个功能，起初我是这么想的，对两张图片从左上角的第一个像素点一直比较到右下角的最后一个像素点，并在比较时记录它们的相似度，可能是我太天真了(主要还是知识限制了想象)，这样做有很多问题，比如说两张图片大小不一致、核心要素点的位置不同等...最终只得借助网络了，找到了一种叫做均值哈希的算法(Average hash algorithm)，接下来具体阐述它的基本思路以及适用场景。
C#数据检索
似水流年
04-08 1347
1.常规查询语句书写  StringBuilder sb = new StringBuilder();   //加空格或者\n解决两个条件粘连的问题   //用where 1=1解决where该不该加的问题   sb.Append("select * from T_Customers where 1=1\n");   if (cbQueryByName.Checked)   {
C#与数据库之间的连接(查询，修改，删除，添加)
u011936353的专栏
09-10 2601
首先，定义字符串s="server=.;database=Product;uid=sa;pwd=123 "; 然后连接：SqlConnection connection=new SqlConnection(s); 创建对象：SqlCommand command=connection.Createcommand(); 执行命令：command.CommandText="select * fro
C#可视化 商品信息管理系统（具体做法及全部代码）
Mr_wangzu的博客
06-07 790
【代码】C#可视化 商品信息管理系统（具体做法及全部代码）
文本转变向量的几种常用的方法(one-hot,TF-IDF,word2vec)
weixin_64017116的博客
05-21 2986
本文讲解文本转变向量的几种方法，主要有one-hot，TF—IDF，word2vec，只讲解原理，不涉及代码和公式
【Qt实现录频】
最新发布
m0_45463480的博客
06-13 164
请注意，这只是一个简单的示例代码，实际应用中你可能需要处理更多的细节，如捕获不同视频格式、处理录制过程中的错误等。希望这个示例对你有所帮助，另外你也可以在Qt官方文档中找到更多关于Qt Multimedia模块的详细信息。在Qt中实现录制视频可以通过使用Qt Multimedia模块来实现。在上面的示例中，VideoRecorder类提供了一个简单的界面，其中包括一个用于录制视频的按钮。当按钮被点击时，toggleRecord()槽函数将会启动或停止录制。
生成C#中调用SQL数据库实现增加数据的代码
05-29
可以使用以下代码来在C#中调用SQL数据库实现增加数据的操作： ```csharp using System.Data.SqlClient; // 创建连接字符串 string connectionString = "Server=myServerAddress;Database=myDataBase;User Id=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值