Full of Fire-CSDN博客

原创 all in rag-Task06学习笔记

虽然说的是图数据转换为索引，但是实际上是从图数据得到结构化文档，再针对文档进行索引构建，这里的步骤和前面都是一样的。构建流程：图数据库$\rightarrow文档构建文档构建文档构建文档分块文档分块文档分块向量化向量化向量化\rightarrow $Milvus索引这里要用到前面的结构化文档构建器和分块处理器，并引入向量化模型和Milvus向量库。

2026-03-02 21:51:45 605

原创 all in rag-Task05学习笔记

转到本机（windows11）进行该项目的学习。

2026-02-27 22:05:09 256

原创 all in rag——Task04学习笔记part03

langchain并没有内置的ColBERT重排器，我们的目标是自己实现一个具有检索能力并进行ColBERT重排的组件思路：LangChain中可以通过组合多个压缩器和文档转换器。参考已经有的组件，和。处理时先使用初步检索文档，然后将文档交由处理（压缩或者重排），也就是说后处理是通过对象进行的。查看源码可以发现是一个类对象，应该是通过继承该基类，并在该基类的基础上重写方法实现的自定义逻辑。那么我们也可以这么做，继承基类来创建一个类，实现ColBERT的重排处理"""ColBERT重排器"""

2026-02-26 16:09:44 553

原创 all in rag——Task04学习笔记part02

本文介绍了RAG系统中的查询构建技术，主要包括文本到元数据过滤器和文本到Cypher两种实现方式。查询构建利用大模型将自然语言查询转换为结构化查询语句或过滤条件，其中自查询检索器通过分析元数据字段信息生成精确过滤条件，GraphCypherQAChain则用于将自然语言转换为图数据库查询语句。文章还指出示例中由于LLM未生成有效过滤条件，导致查询结果不准确，说明该技术对LLM输出稳定性和数据描述完整性有较高要求。

2026-02-25 11:23:25 566

原创 all in rag——Task04学习笔记part01

本文摘要：检索优化中的混合检索结合了稀疏向量（关键词精确匹配）和密集向量（语义理解）的优势。稀疏向量基于词频统计，可解释性强但缺乏语义理解；密集向量通过深度学习获得，能理解语义但可解释性差。混合检索通过并行执行两种检索算法，采用倒数排序融合（RRF）或加权线性组合策略合并结果，提高召回率和准确性。Milvus实践展示了如何创建包含两种向量的集合、生成嵌入向量并实现混合检索，其中RRF参数k控制排序平滑度。混合检索虽提升效果，但计算成本高且参数调优复杂。

2026-02-25 00:17:47 600

原创 all in rag-Task03学习笔记

将真实存在的某个数据对象，比如说文本、图像、音频、视频等，根据它的特征，转化为一个多维空间中的向量，这个向量中“嵌入”了原始数据的所有关键信息。这个过程就叫嵌入——Embedding整个过程Embedding模型接收数据对象，输出一个向量。这个向量是真实反映了原数据对象的语义的，可以理解为对数据语义的数字表示。在这个向量空间中，语义相似的对象距离更近，语义不相关的对象则离得更远。‍RAG中，检索环节基于Embedding。

2026-02-19 22:07:21 577

原创 Datawhale-all in rag 学习笔记Task02

本文章内容基于是Task02的学习笔记若想深入学习，建议参考上方Datawhale的官方文档数据准备阶段主要包括数据加载和文本分块两个阶段。

2026-02-13 12:24:42 637

原创 Datawhale-all in rag 学习笔记Task01

RAG技术概述与应用实践 RAG（检索增强生成）技术通过结合大模型内部知识与外部动态检索，有效解决模型知识局限性和幻觉问题。其核心流程包括：数据分块处理、向量化索引构建、相似性检索和基于上下文的生成。本文介绍了RAG的演进路径（初级→高级→模块化）和优势（低成本、知识可更新、减少幻觉），并演示了基于LangChain框架的实现方法，包括文档加载、文本分块、向量存储构建和查询生成等关键步骤。实践表明，RAG能显著提升模型回答准确性，是当前增强大模型知识的重要技术方向。

2026-02-11 14:36:12 651

原创 VScode配置GO开发环境

官方下载地址:这里我是windows系统，所以选择windows，点击download ，进入下面的页面点击Microsoft Windows下面的链接可以直接下载最新版本的windows安装包。当然如果想下载之前的版本或者压缩包可以自己往下找。安装过程非常简单，没有什么需要特别注意的地方，建议大家在非C盘单独建一个文件夹，专门用来放开发使用的工具。安装完成后，打开命令行输入go env查看是否安装成功如果输出是像上图这样，证明安装成功。

2024-10-08 13:13:47 1759 1

原创机器学习之逻辑回归 Logistic Regression

逻辑回归是数据挖掘中的一种算法。

2024-10-06 19:46:55 456 2

didine的博客