流程编排所以说是玩具，及可视化，核心业务逻辑涉及内部逻辑运算

最新推荐文章于 2024-11-09 10:56:45 发布
最新推荐文章于 2024-11-09 10:56:45 发布
阅读量151 收藏
点赞数
文章标签： tomcat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vprxfei/article/details/132124051
版权

什么是向量？

向量是数学、物理学和工程科学等多个自然科学中的基本概念，它是一个具有方向和长度的量，用于描述问题，如空间几何、力学、信号处理等。在计算机科学中，向量被用于表示数据，如文本、图像或音频。此外，向量还代表AI模型对文本、图像、音频、视频等非结构化数据的印象。

向量相似度搜索的基本原理

向量相似度搜索的基本原理是通过将数据集中的每个元素映射为向量，并使用特定相似度计算算法，如基于余弦相似度的、基于欧氏相似度或基于Jaccard相似度等算法，找到与查询向量最相似的向量。

Redis实现向量相似度搜索

了解原理后，我们开始来实现如何使用Redis实现向量相似度搜索。Redis允许我们在FT.SEARCH命令中使用向量相似度查询。使我们可以加载、索引和查询作为Redis哈希或JSON文档中字段存储的向量。

//相关文档地址

Vector similarity | Redis

1、Redis Search安装

关于Redis Search的安装和使用，此处不再赘述，如果您对此不熟悉，可以参考上一篇文章：

C#+Redis Search：如何用Redis实现高性能全文搜索

2、创建向量索引库

这里我们使用NRedisStack和StackExchange.Redis两个库来与Redis进行交互操作。

复制代码

//创建一个Redis连接
static ConnectionMultiplexer mux = ConnectionMultiplexer.Connect("localhost");
//获取一个Redis数据库
static IDatabase db = mux.GetDatabase();
//创建一个RediSearch客户端
static SearchCommands ft = new SearchCommands(db, null);

复制代码

在进行向量搜索之前，首先需要定义并创建索引，并指定相似性算法。

复制代码

public static async Task CreateIndexAsync()
{
    await ft.CreateAsync(indexName,
        new FTCreateParams()
                    .On(IndexDataType.HASH)
                    .Prefix(prefix),
        new Schema()
                    .AddTagField("tag")
                    .AddTextField("content")
                    .AddVectorField("vector",
                        VectorField.VectorAlgo.HNSW,
                        new Dictionary<string, object>()
                        {
                            ["TYPE"] = "FLOAT32",
                            ["DIM"] = 2,
                            ["DISTANCE_METRIC"] = "COSINE"
                        }));
}

复制代码

这段代码的意思是：

  • 使用了一个异步方法 ft.CreateAsync 来创建索引。它接受三个参数：索引名称 indexName，一个 FTCreateParams 对象和一个 Schema 对象；
  • FTCreateParams 类提供了一些参数选项，用于指定索引的参数。这里使用 .On(IndexDataType.HASH)  方法来指定索引数据类型为哈希，并使用 .Prefix(prefix)  方法来指定索引数据的前缀；
  • Schema 类用于定义索引中的字段和字段类型。这里定义了一个标签字段（tag field）用于区分过虑数据。定义了一个文本字段（text field）用于存储原始数据，以及一个向量字段（vector field）用于存储经原始数据转化后的向量数据；
  • 使用了 VectorField.VectorAlgo.HNSW 来指定向量算法为 HNSW（Hierarchical Navigable Small World）。还传递了一个字典对象，用于设置向量字段的参数。其中，键为字符串类型，值为对象类型。
目前Redis支持两种相似度算法：

HNSW分层导航小世界算法，使用小世界网络构建索引，具有快速查询速度和小内存占用，时间复杂度为O(logn)，适用于大规模索引。

FLAT暴力算法，它对所有的键值对进行扫描，然后根据键值对的距离计算出最短路径，时间复杂度为O(n)，其中n是键值对的数量。这种算法时间复杂度非常高，只适用于小规模的索引。

3、添加向量到索引库

索引创建后，我们将数据添加到索引中。

复制代码

public async Task SetAsync(string docId, string prefix, string tag, string content, float[] vector)
{
    await db.HashSetAsync($"{prefix}{docId}", new HashEntry[] {
        new HashEntry ("tag", tag),
        new HashEntry ("content", content),
        new HashEntry ("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
    });
}

复制代码

SetAsync方法用于将一个具有指定文档ID、前缀、标签、内容及内容的向量存储到索引库中。并使用SelectMany()方法和BitConverter.GetBytes()方法将向量转换为一个字节数组。

4、向量搜索

Redis 支持两种类型的向量查询：KNN查询和Range查询，也可以将两种查询混合使用。

KNN 查询

KNN 查询用于在给定查询向量的情况下查找前 N 个最相似的向量。

复制代码

public async IAsyncEnumerable<(string Content, double Score)> SearchAsync(float[] vector, int limit)
{
    var query = new Query($"*=>[KNN {limit} @vector $vector AS score]")
                .AddParam("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
                .SetSortBy("score")
                .ReturnFields("content", "score")
                .Limit(0, limit)
                .Dialect(2);

    var result = await ft.SearchAsync(indexName, query).ConfigureAwait(false);
    foreach (var document in result.Documents)
    {
        yield return (document["content"],Convert.ToDouble(document["score"]));
    }
}

复制代码

这段代码的意思是：

  • 创建一个查询对象 query，并设置查询条件。查询条件包括：
    1. "*=>[KNN {limit} @vector $vector AS score]"：使用KNN算法进行向量相似度搜索，限制结果数量为limit，使用给定的向量vector作为查询向量，将查询结果按照相似度得分进行排序；
    2. AddParam("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())：将浮点数数组转换为字节数组，并将其作为查询参数传递给查询；
    3. SetSortBy("score")：按照相似度得分对结果进行排序；
    4. ReturnFields("content", "score")：将content和score两个字段从结果集中返回；
    5. Limit(0, limit)：限制结果集的起始位置为0，结果数量为limit；
    6. Dialect(2)：设置查询方言为2，即Redis默认的查询语言Redis Protocol；
  • 调用异步搜索方法 ft.SearchAsync(indexName, query)，并等待搜索结果；
  • 遍历搜索结果集 result.Documents，将每个文档转换为 (string Content, double Score) 元组，并通过 yield 语句进行迭代返回。
Range 查询：

Range查询提供了一种根据 Redis 中的向量字段与基于某些预定义阈值（半径）的查询向量之间的距离来过滤结果的方法。类似于 NUMERIC 和 GEO 子句，可以在查询中多次出现，特别是可以和 KNN 进行混合搜索。

复制代码

public static async IAsyncEnumerable<(string Tag, string Content, double Score)> SearchAsync(string tag, float[] vector, int limit)
{
    var query = new Query($"(@tag:{tag})=>[KNN {limit} @vector $vector AS score]")
                .AddParam("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
                .SetSortBy("score")
                .ReturnFields("tag", "content", "score")
                .Limit(0, limit)
                .Dialect(2);

    var result = await ft.SearchAsync(indexName, query).ConfigureAwait(false);
    foreach (var document in result.Documents)
    {
        yield return (document["tag"], document["content"], Convert.ToDouble(document["score"]));
    }
}

复制代码

这段代码使用了KNN和Range混合查询，与上一段代码相比，新增了@tag参数，将限制结果仅包含给定标签的内容。这样做可以增加查询的准确性，提高查询效率。

5、从索引库中删除向量

public async Task DeleteAsync(string docId, string prefix)
{
    await db.KeyDeleteAsync($"{prefix}{docId}");
}

这个方法通过删除与指定向量相关联的哈希缓存键，来实现从索引库中删除指定向量数据。

6、删除向量索引库

public async Task DropIndexAsync()
{
    await ft.DropIndexAsync(indexName, true);
}

这个方法 await ft.DropIndexAsync接受两个参数： indexName 和 true 。indexName 表示索引库的名称， true 表示在删除索引时是否删除索引文件。

7、查询索引库信息

public async Task<InfoResult> InfoAsync()
{
    return await ft.InfoAsync(indexName);
}

通过 await ft.InfoAsync(indexName) 方法，我们可以获取到指定索引库的大小，文档数量等相关索引库信息。

完整 Demo 如下：

复制代码

using NRedisStack;
using NRedisStack.Search;
using NRedisStack.Search.DataTypes;
using NRedisStack.Search.Literals.Enums;
using StackExchange.Redis;
using static NRedisStack.Search.Schema;

namespace RedisVectorExample
{
    class Program
    {
        //创建一个Redis连接
        static ConnectionMultiplexer mux = ConnectionMultiplexer.Connect("localhost");
        //获取一个Redis数据库
        static IDatabase db = mux.GetDatabase();
        //创建一个RediSearch客户端
        static SearchCommands ft = new SearchCommands(db, null);
        //索引名称
        static string indexName = "test:index";
        //索引前缀
        static string prefix = "test:data";
        static async Task Main(string[] args)
        {  
            //创建一个向量的索引
            await CreateIndexAsync();

            //添加一些向量到索引中
            await SetAsync("1", "A", "测试数据A1", new float[] { 0.1f, 0.2f });
            await SetAsync("2", "A", "测试数据A2", new float[] { 0.3f, 0.4f });
            await SetAsync("3", "B", "测试数据B1", new float[] { 0.5f, 0.6f });
            await SetAsync("4", "C", "测试数据C1", new float[] { 0.7f, 0.8f });

            //删除一个向量
            await DeleteAsync("4");

            //KUN搜索 
            await foreach (var (Content, Score) in SearchAsync(new float[] { 0.1f, 0.2f }, 2))
            {
                Console.WriteLine($"内容：{Content}，相似度得分：{Score}");
            }

            //混合
            await foreach (var (Tag, Content, Score) in SearchAsync("A", new float[] { 0.1f, 0.2f }, 2))
            {
                Console.WriteLine($"标签：{Tag}，内容：{Content}，相似度得分：{Score}");
            }
            
            //检查索引是否存在
            var info = await InfoAsync();
            if (info != null)
                await DropIndexAsync(); //存在则删除索引
        }

        public static async Task CreateIndexAsync()
        {
            await ft.CreateAsync(indexName,
                new FTCreateParams()
                            .On(IndexDataType.HASH)
                            .Prefix(prefix),
                new Schema()
                            .AddTagField("tag")
                            .AddTextField("content")
                            .AddVectorField("vector",
                                VectorField.VectorAlgo.HNSW,
                                new Dictionary<string, object>()
                                {
                                    ["TYPE"] = "FLOAT32",
                                    ["DIM"] = 2,
                                    ["DISTANCE_METRIC"] = "COSINE"
                                }));
        }

        public static async Task SetAsync(string docId, string tag, string content, float[] vector)
        {
            await db.HashSetAsync($"{prefix}{docId}", new HashEntry[] {
                new HashEntry ("tag", tag),
                new HashEntry ("content", content),
                new HashEntry ("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
            });
        }

        public static async Task DeleteAsync(string docId)
        {
            await db.KeyDeleteAsync($"{prefix}{docId}");
        }

        public static async Task DropIndexAsync()
        {
            await ft.DropIndexAsync(indexName, true);
        }

        public static async Task<InfoResult> InfoAsync()
        {
            return await ft.InfoAsync(indexName);
        }

        public static async IAsyncEnumerable<(string Content, double Score)> SearchAsync(float[] vector, int limit)
        {
            var query = new Query($"*=>[KNN {limit} @vector $vector AS score]")
                        .AddParam("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
                        .SetSortBy("score")
                        .ReturnFields("content", "score")
                        .Limit(0, limit)
                        .Dialect(2);

            var result = await ft.SearchAsync(indexName, query).ConfigureAwait(false);
            foreach (var document in result.Documents)
            {
                yield return (document["content"], Convert.ToDouble(document["score"]));
            }
        }

        public static async IAsyncEnumerable<(string Tag, string Content, double Score)> SearchAsync(string tag, float[] vector, int limit)
        {
            var query = new Query($"(@tag:{tag})=>[KNN {limit} @vector $vector AS score]")
                        .AddParam("vector", vector.SelectMany(BitConverter.GetBytes).ToArray())
                        .SetSortBy("score")
                        .ReturnFields("tag", "content", "score")
                        .Limit(0, limit)
                        .Dialect(2);

            var result = await ft.SearchAsync(indexName, query).ConfigureAwait(false);
            foreach (var document in result.Documents)
            {
                yield return (document["tag"], document["content"], Convert.ToDouble(document["score"]));
            }
        }
    }
}

复制代码

落叶枫酥
关注
流程所以说是玩具，编排及可视化，核心业务逻辑涉及内部逻辑运算
2301_78696233的博客
07-19 266
设置为单例注入
前、后端通用的可视化逻辑编排
悠闲的水的博客
07-21 1398
逻辑编排编辑器生成一份JSON，解析引擎解析这份JSON，把图形化的业务逻辑转化成可执行的逻辑，并执行。编辑器跟解析引擎之间要有份约束协议，用来约定JSON的定义，这个协议就是这里定义的DSL。在typescript中，用interface、enum等元素来表示。这些DSL仅仅是用来描述页面上的图形元素，通过activityName属性跟具体的实现代码逻辑关联起来。比如一个循环节点，它的actvityName是Loop，解析引擎会根据Loop这个名字找到该节点对应的实现类，并实例化为一个可执行对象。
流程编排及可视化，核心业务逻辑涉及内部逻辑运算赋能技术
kks95663331的博客
01-31 127
所以说是玩具，
流程编排及可视化，核心业务逻辑涉及内部逻辑运算通用化的推荐能力
yyyi9845788的博客
02-17 301
所以说是玩具，
流程编排及可视化，核心业所以说是玩具，务逻辑涉及内部逻辑运算
2301_79099980的博客
07-20 157
所以说是玩具，
流程编排及可视化，核心业务逻辑涉及内部逻辑设置为单例注入运算
kaop985551的博客
02-20 117
设置为单例注入
流程编排及可视化，核心业务逻辑涉及内部逻辑运算传统关系型数据库
2301_79099980的博客
07-20 207
实现事务的原子性
流程编排及可视化，核心业务逻辑涉及内部逻辑运算当鉴权用户更新时
asdas12asddsfds的博客
09-05 178
业务用户的查询服务
流赋能技术程编排及可视化，核心业务逻辑涉及内部逻辑运算
UYL9963566的博客
01-20 91
所以说是玩具，
流程编排及可视化，核心业务逻辑业务用户的查询服务涉及内部逻辑运算
Iloo9856688的博客
01-20 75
所以说是玩具，
大数据研发引擎，用可视化的组件编排后台数据处理逻辑项目源代码
03-27
Data develop engine 数据研发引擎，用可视化的组件编排后台数据处理逻辑，配合消息触发、定时任务和restful接口等多种调度机制，从而能够代替传统的大部分后台接口研发。 数据交换平台主要作用是数据同步和数据集成...
基于Java的Kstry业务架构可视化轻量级框架设计源码
09-26
Kstry以其可视化、业务隔离和轻量级特性成为业务架构的首选工具，适用于流程编排、并发编程、规则判断、微服务整合、动态微服务判定、数据字典和平台能力建设等多种场景。更多详情请访问项目主页：http://kstry.cn
逻辑编排在优酷可视化搭建中的实践（二） - 编排器与业务
阿里文娱技术
11-04 1618
背景与价值 说到逻辑编排大家应该都不陌生了，目前我们集团有多面向后端的逻辑编排技术专项，且没有统一的标准、沉淀通用的方案。也有前端逻辑编排项目，但均面向前端开发提效的逻辑编排，而我们是要打造一个面向非研发人员，可让他们根据图形化组件搭建出逻辑的平台。 为什么要做这个呢，围绕我们团队的好莱坞搭建平台来说，随着页面可视化搭建的蓬勃发展，互动营销类的页面/组件需求日益增长，为了提高开发效率，研发侧不断地沉淀通用的基础库，与服务端商定标准化的接口，以此来减少维护成本，但现有的可视化搭建效率和研发效率都已经达到瓶颈了
mybatisgenerator生成mapper时报错
11-07 832
网上搜了下找到了简单的处理办法，在idea的setting里找到maven runner里设置忽略证书检查，添加上-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.ignore.validity.dates=true。好，删除本地仓库里对应的目录（目录里没有jar包）后再次执行还是报错；找同事看他本地有没有对应的jar包，拷到我本地maven仓库下。
MybatisPlus入门(十)MybatisPlus-逻辑删除和多记录操作
kong7906928的博客
11-09 495
Mybatis-Plus逻辑删除，Mybatis-Plus 批量操作。
数据库基础测验20241113.doc
11-13
数据库基础测验20241113.doc
微信小程序下拉选择组件
11-13
微信小程序下拉选择组件
DICOM文件+DX放射平片-数字X射线图像DICOM测试文件
11-13
DICOM文件+DX放射平片—数字X射线图像DICOM测试文件，文件为.dcm类型DICOM图像文件文件,仅供需要了解DICOM或相关DICOM开发的技术人员当作测试数据或研究使用，请勿用于非法用途。
Jupyter Notebook《基于双流 Faster R-CNN 网络的 图像篡改检测》+项目源码+文档说明+代码注释
最新发布
11-13
<项目介绍> - 基于双流 Faster R-CNN 网络的 图像篡改检测 - 不懂运行，下载完可以私聊问，可远程教学 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
TestHub：流程编排驱动的Java自动化测试工具
从提供的文件名称列表“基于流程编排的自动化测试工具”来看，资源的核心功能已经非常明确，即提供一种基于流程编排的自动化测试能力，这将使测试工作流程更加高效和有序。 综上所述，这个自动化测试工具是一个面向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值