HtmlRAG开源，RAG系统联网搜索能力起飞~

最新推荐文章于 2025-05-01 16:54:33 发布

大模型玩家

最新推荐文章于 2025-05-01 16:54:33 发布

阅读量319

点赞数 4

文章标签：学习语言模型产品经理算法人工智能 ai 大模型

本文链接：https://blog.csdn.net/2401_85375186/article/details/144391894

版权

网络是RAG系统中使用的主要外部知识来源，许多商业系统，如ChatGPT和Perplexity，都使用网络搜索引擎作为他们的主要检索系统。传统的RAG系统将网页的HTML内容转换为纯文本后输入LLM，这会导致结构和语义信息的丢失。

HTML转换为纯文本时的信息丢失

为此，提出了HtmlRAG，它使用HTML而不是纯文本作为RAG系统中外部知识的格式。为了应对HTML带来的长上下文，提出了无损HTML清理和基于两步块树的HTML修剪（Two-Step Block-Tree-Based）。

HtmlRAG总体概述

无损HTML清理：这个清理过程仅移除完全不相关的内容，并压缩冗余结构，保留原始HTML中的所有语义信息。无损HTML清理压缩后的HTML适用于具有长上下文LLMs的RAG系统，并且不愿意在生成之前丢失任何信息。
基于两步块树的HTML修剪：基于块树的HTML修剪包括两个步骤，这两个步骤都在块树结构上进行。第一步修剪使用嵌入模型为块计算分数，而第二步使用路径生成模型。第一步处理无损HTML清理的结果，而第二步处理第一步修剪的结果。

**块分数计算。**块树通过分词器转换为令牌树，相应的HTML标签和令牌用相同颜色标记。令牌生成概率在右上角显示，虚线框中的令牌不需要推理。在块树的右上角，显示了块概率，概率可以从相应的令牌概率中推导出来

生成模型Prompt

Input：``**HTML**: “{HTML}”``**Question**: **{Question}**``Your task is to identify the most relevant text piece``to the given question in the HTML document. This text``piece could either be a direct paraphrase to the fact,``or a supporting evidence that can be used to infer the``fact. The overall length of the text piece should be``more than 20 words and less than 300 words. You should``provide the path to the text piece in the HTML document.``An example for the output is: <html1><body><div2><p>Some``key information...``Output:``<html1><body><div2><p>At the historic 2018 Royal Rumble,``Shinsuke Nakamura won the Men’s Royal Rumble. . .

在六个不同的问答数据集上进行了实验，包括模糊问答、自然问答、多跳问答和长形式问答，HtmlRAG在所有数据集上的表现均优于或等于现有的基于纯文本的后检索处理方法：BM25、BGE、E5-Mistral、LongLLMLingua、JinaAI Reader

https://arxiv.org/pdf/2411.02959``HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems``https://github.com/plageon/HtmlRAG

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。