Ryon_zhan-CSDN博客

原创语义滑动窗口-大模型场景下解决输入上下文过长的方案

在笔者看来，这个方法最大的好处就是非常之节省资源，比如某b场，可以利用一些句子结束标识符的策略光速对全文进行切割，然后按照预设的单个chunk的max_token进行扩展，当然还是有一些巧思在里面的，比如他们在相邻的两个chunk里，有一部分的内容是重复的，这样能延展语义的连续。，比如我关心的实际上是《话题A》，但是因为扩展机制把另一个话题下的《话题B》、《话题C》都给扩展进来了，如果这A、B、C三个话题完全不一样还好，但是实际上来说因为语义连贯性的问题，上下文的话题相关度还是很高的，就会造成。

2024-02-27 17:39:20 1167 1

原创全文检索-RocketQA

它建立在Hugging Face Transformers库之上，并提供一组可定制的训练和评估脚本，适用于不同的QA数据集，例如SQuAD、TriviaQA和Natural Questions。微调之后如果模型太大的话可以检查一下保存文件中是否有很多名字中包含moment的文件，这些是为了中断训练后还能继续运行所保存的，在最后保存模型参数时可以删掉。微调之后如果模型太大的话可以检查一下保存文件中是否有很多名字中包含moment的文件，这些是为了中断训练后还能继续运行所保存的，在最后保存模型参数时可以删掉。

2023-07-05 14:30:50 287

原创全文检索-ElasticSearch

Match 查询是 Elasticsearch 中最简单的一种查询方式，它会匹配查询关键字并返回所有匹配到的文档。以上代码使用 FuzzyQueryBuilder 实现了 Fuzzy 查询，匹配 “content” 字段中与 “Elasticsarch” 拼写相似的单词，最大编辑距离为 2。以上是使用 Spring Boot 和 Elasticsearch 的 Java API 实现常用搜索方式的示例，可以根据需要选择合适的搜索方式来实现全文搜索。Phrase 查询需要指定查询的字段和要查询的短语。

2023-07-05 14:29:22 261

原创全文检索-Oracle

在上述查询中，CONTAINS 是 Oracle Text 提供的一个函数，用于执行全文搜索。第一个参数是要搜索的列名，第二个参数是搜索的关键词，第三个参数是指定搜索的方式，这里使用的是 BASIC 模式。Oracle Text 是 Oracle Database 内置的一个文本处理和搜索引擎，可以提供全文搜索、语义搜索、数据挖掘等功能，支持多种文本格式和语言。以上是 Oracle Text 实现全文搜索的基本步骤，实际使用时还可以进一步调整搜索参数、添加语言支持、进行数据挖掘等。

2023-07-05 14:25:26 698

原创全文检索-MYSQL

可扩展性好：MySQL 是一个成熟稳定的数据库系统，支持分布式和集群部署，可以根据需要进行水平和垂直扩展，满足不同规模和需求的应用场景。：MySQL 的全文搜索不支持复杂的高级查询语法，例如通配符、正则表达式、近义词和近似搜索等，需要在应用程序中进行额外处理。简单易用：使用 MySQL 进行全文搜索不需要学习额外的查询语言或 API，只需要掌握 SQL 语言即可，易于上手和使用。搜索能力有限：相比于一些专业的搜索引擎软件，MySQL 的全文搜索能力有一定限制，例如无法进行复杂的语义分析和推荐。

2023-07-05 14:24:18 381

原创全文搜索-综述

在排序阶段，系统需要对召回的文档进行评分和排序，这个过程涉及到排序算法、文档评分模型等技术。优化搜索引擎的性能：搜索引擎的性能优化是一个复杂的过程，涉及到索引库的设计、查询解析器的算法、搜索结果的缓存和分页等方面。收集用户反馈和数据分析：通过收集用户反馈和数据分析，可以了解用户的搜索习惯、热门搜索关键词、搜索结果的相关度、性能瓶颈等问题，进一步优化搜索引擎的策略。，在排序阶段，系统会根据一些排序算法和策略，对召回的文档进行打分，然后按照得分进行排序，将排名靠前的文档返回给用户，这个过程也被称为“排序”；

2023-07-05 14:22:42 62

原创 unity跨脚本传递参数（1）SendMessage

参照unity2019.3文档中给出的对SendMessage给出的解释：原版：Calls the method named methodName on every MonoBehaviour in this game object.The receiving method can choose to ignore the argument by having zero parameters....

2020-04-21 16:12:57 2025 1

Ryon_zhan的博客