- 博客(9)
- 收藏
- 关注
RSS订阅原创 利用提取的关键词使编码模型对特定关键词更加敏感
读取关键词列表。加载预训练的句子嵌入模型。获取模型的基础模块，包括 BERT 模型和 tokenizer。生成关键词的嵌入向量。扩展 BERT 模型的词汇表和嵌入矩阵，将新关键词的嵌入向量加入到嵌入矩阵中。（可选）保存更新后的模型到指定路径。通过这些步骤，新的关键词及其对应的嵌入向量被成功地加入到现有的嵌入模型中，使得模型能够处理这些新的关键词。
2024-06-24 13:57:12
734
1
原创 基于Reranker方法增强RAG的检索效果
Reranker 是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用 Reranker，能够更有效地确定文档和查询之间的语义相关性，更精细地对结果重排，最终提高搜索质量。目前，Reranker 类型主要有两种基于统计的 Reranker 会汇总多个来源的候选结果列表，使用多路召回的加权得分或倒数排名融合（RRF）算法来为所有结果重新算分，统一将候选结果重排。
2024-06-24 12:47:29
1271
原创 基于BGE模型实现RAG中查询queue的向量化
BGE（Bidirectional Generative Embeddings）是一种文本生成模型，结合了生成模型和双向语言模型的特点。这种方法旨在利用生成模型的优势，如生成自然流畅的文本，同时结合双向模型的能力，可以更好地理解和利用上下文信息。具体来说，BGE的核心思想是结合自回归生成模型（如GPT系列）和双向编码模型（如BERT）。本项目中采用的编码模型是bge-large-zh-v1.5模型，BGE-large-zh-v1.5 是一种专为中文语言处理任务设计的大型预训练模型。2、初始化BGE模型。
2024-06-24 12:33:52
663
原创 对上传的文件构建向量数据库
接下来，它处理传入的文件和自定义文档，将这些文档进行分块、向量化操作，最后将它们更新到知识库中。该函数实现了将一个或多个文件上传到指定知识库的功能，并支持多种文件输入形式（本地路径、文件对象或字节）。它支持多文件上传、自定义文档的处理，可以选择是否进行文本向量化并保存向量库。在RAG实现过程中需要将上传的文件构造成向量数据库，以便在用户输入问题并完成对问题的编码后去向量数据库中查询相关的文件。其主要功能是更新知识库中的文档。3、upload_docs接口函数：主要功能是上传文件并进行文本向量化处理。
2024-06-24 11:36:37
772
原创 采用标题增强的方法优化RAG的向量化检索
文本的标题是文章内容的汇总，对于理解对应文本的语义有至关重要的作用。对于划分的每段文本如果能知道其对应的文本标题，那对于当前段落的理解也会有巨大的提升，基于这个思想，我们增加标题判断，判断哪些文本为标题，并在metadata中进行标记；然后将文本与往上一级的标题进行拼合，实现文本信息的增强。4、防止将带有特定标点符号结尾的问候语视为标题且标题不能全是数字。2、文本长度不能为0，由于是标题，文本长度也不能过长。5、开头的字符内应该有数字，这里默认5个字符内。非字母字符的比例不能超过给定阈值。
2024-06-24 11:09:38
234
原创 项目实训第十二周：实现文本分割
前言：在RAG的实现中，需要对上传的辅助数据进行分句操作，也即将文本分成多个chunk片段，在检索过程中会以chunk为单位进行检索和匹配，以chunk为单位而不是以整篇文章为单位是因为每篇文章一般都由几个语义段构成，每个片段的内容和知识有较大的差距，同时也是为了保证匹配到的知识更加准确。一旦找到第一个匹配的分隔符，函数就使用这个分隔符来分割文本，并将后续的分隔符列表更新为新的`new_separators`列表，用于后续的递归分割。接下来，函数会检查分割后的每个文本块的长度。
2024-05-31 00:29:19
573
原创 项目实训第十一周：如何实现RAG技术，如何通过RAG技术提高大模型的生成技术
主要用来解决大模型的幻觉问题，LLM的幻觉定义为“生成的内容与提供的源内容不符或没有意义”）、不够专业的问题（大模型在通用领域训练时缺少某一专业性高的垂域知识）和生成不具时效性的问题。1、RAG 是一种相对较新的人工智能技术，可以通过允许大型语言模型 (LLM) 在无需重新训练的情况下利用额外的数据资源来提高生成式 AI 的质量。这有助于提高文本的可信度和准确性。：也即根据问题的embedding与向量数据库的embedding进行匹配度计算，匹配度高的内容将用来辅助模型的输出。
2024-05-31 00:01:18
308
原创 项目实训第十周：解决利用ProxyClient方式远程链接DSW时需要输入密码及连接后Python环境无法使用的问题
通过查询相关知识和自己的排查发现可能是由于在vscode中使用的环境并不是项目所需要的环境，需要切换环境。首先通过conda info --envs命令查看当前系统下有哪些环境，发现有一个base环境，因此切换到base环境下，切换后可以正常运行代码。解决：在远程端的vscode中的命令行运行查看python版本的代码，显示的python版本与DSW实例中现实的python版本并不一致。猜想该密码需要的是密钥之类的内容，通过查询网上的方法解决方法如下：采用免密登录的方式即可。
2024-05-30 22:11:08
231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人