stephen147的博客

任务的构建方式对最终结果影响很大。让模型只输出文本块头部，而不是整个文本块，这个策略很关键。因为它让模型更专注于语义转换，而不是简单的复制输入内容，从而提高了边界检测的准确性和分块连贯性。而且，由于生成的文本更少，模型的处理速度也更快了。

大约一年前，2023 年 10 月，全球首个支持 8K 上下文长度的开源 Embedding 模型 —— jina-embeddings-v2-base-en。自此，长文本在 Embedding 模型中的应用引发了广泛讨论和争议。一个典型的 RAG Pineline 包括：分块-Embedding-检索-生成。那么，如果行业只需要具有 512 上下文长度的 Embedding 模型，那么训练 8192 上下文长度的模型又有什么意义呢？

详解 BGE-M3 与 Splade 模型本文将探索两种先进的 Embedding 模型——BGE-M3 和 Splade，深入解析它们的设计理念和工作原理。01.快速回顾Embedding向量的概念Embedding 向量或者向量表示，是指在高维向量空间中以数值描述表示对象、概念或实体（Entity）。每个 Entity 由一个向量表示，此向量通常长度固定，每个维度反映了Entity 的一个特定属性或特征。Embedding 向量类型主要分为三种：传统的稀疏向量、稠密向量以及“学习到的”（lear

在过去的 40 年里，BM25 一直是搜索引擎的标准。它是一种简单但功能强大的算法，已被许多搜索引擎使用，包括 Google、Bing 和 Yahoo。虽然看起来向量搜索的出现会削弱其影响力，但效果并不明显。目前最先进的检索方法试图将 BM25 与嵌入结合到混合搜索系统中。然而，自从引入 RAG 以来，文本检索的使用情况发生了显著变化。BM25 所基于的许多假设不再有效。例如，传统网络搜索和现代 RAG 系统之间文档和查询的典型长度存在很大差异。

这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 RAG 系统的短板。 说实话之前一直有在关注这个框架, 所以这两天花了点时间研究了一下源码, 结合之前的一些技术文档，本文主要

7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！开源地址：https://github.com/microsoft/graphrag通过 LLM 构建知识图谱结合图机器学习，GraphRAG 极大增强 LLM 在处理私有数据时的性能，同时具备连点成线的跨大型数据集的复杂语义问题推理能力。

例如，20k tokens的文档的摘要不会是 10k tokens的文档摘要的两倍长。HuggingFace的transformers 支持加载GGUF单文件格式，以便为 gguf 模型提供进一步的训练/微调功能，然后再将这些模型转换回生态系统gguf中使用ggml，GGUF文件通常包含配置属性，tokenizer，以及其他的属性，以及要加载到模型的所有tensor，参考文档：https://huggingface.co/docs/transformers/gguf。此实用程序还允许传递附加指令。

亮点在文档解析、切片、query改写及recall模型的微调。没有最好，在自己业务的数据上，能落地就是最好的～。1、Qanything rerank模块设计的最好。4、智谱RAG，在领域数据上微调训练最好。3、FastGPT 模块动态配置多。下面分别按照模块比较各框架的却别。2、RAGFlow 文档处理最好。亮点在：数据处理+index。亮点在：rerank。

TF-IDF是TF（词频，Term Frequency）和IDF（逆文档频率，Inverse Document Frequency）的乘积。我们先来看他们分别是怎么计算的：TF的计算有多种方式，常见的是除以文章总词数是为了标准化IDF为:如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。。