LLM
文章平均质量分 95
大模型
小然爱看
这个作者很懒,什么都没留下…
展开
-
RAG实战 15 - RAG的自动源引文验证技术
一、RAG如何解决幻觉? 二、证据验证 三、代码实现 3.1 安装llmware包 3.2 使用Setup()命令来下拉一组数百个有用的示例文档,这些文档打包在llmware公共repo中转载 2024-01-15 18:59:05 · 244 阅读 · 0 评论 -
RAG实战14 - 利用LongContextRetriver克服RAG中的中间丢失现象
一、检索增强生成 二、实现更好的RAG系统以避免LIM(中间丢失)的技术 三、合并检索器 四、准备工作 五、代码实现 5.1 安装所需的包 5.2 导入所需的包 5.3 设置OpenAI Key 5.4 设置Embedding模型 5.5 数据处理 5.6 把文档split为块转载 2024-01-15 18:49:57 · 223 阅读 · 0 评论 -
RAG实战 13 - 利用MongoDB矢量搜索实现RAG高级检索
一、基本RAG 二、路径的细化:父子文档关系 2.1 步骤1:父子文档关系 2.2 步骤二:问答 三、MongoDB矢量搜索:高级RAG背后的动力 3.1 矢量搜索:快速寻找答案 3.2 结构与速度想结合 3.3 语境丰富性:增加的层次 3.4 MongoDB:不仅仅是一个数据库 3.5 结果:转载 2024-01-15 18:30:17 · 494 阅读 · 0 评论 -
RAG实战 12 - 在RAG管道中实现上下文压缩和过滤
LLM之RAG实战(十二)| 在RAG管道中实现上下文压缩和过滤 一、什么是上下文压缩? 二、上下文压缩中遵循的步骤 三、准备工作 四、代码实现 4.1 安装所需的依赖项 4.2 导入需要的包 4.3 设置Huggingafechub token 4.4 导入数据 4.5 设置文本切分器 4.6转载 2024-01-15 18:23:08 · 379 阅读 · 0 评论 -
RAG实战 11 - 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人
一、LangChain简介 1.1 模型I/O模块 1.2 检索模块 1.3 链条模块 1.4 代理模块 1.5 记忆模块 1.6 回调模块 二、Mistral-7B 三、HuggingFace Embedding 四、chroma向量存储 五、pypdf库 六、实现代码转载 2024-01-15 17:28:14 · 348 阅读 · 0 评论 -
RAG实战10 - 构建一个RAG支持的聊天机器人(包括聊天、嵌入和重排序)
转载自:LLM之RAG实战(十)| 如何构建一个RAG支持的聊天机器人,包括聊天、嵌入和重排序在人工智能和机器学习不断发展的环境中,聊天机器人变得越来越复杂,从简单的转变为。在这篇博客文章中,我们将深入研究创建一个RAG支持的聊天机器人,该聊天机器人利用先进的NLP模型进行聊天、嵌入和重新排序,并使用进行高效的文档检索。转载 2024-01-15 16:08:47 · 419 阅读 · 0 评论 -
RAG实战 8 - 使用Neo4j和LlamaIndex实现多模态RAG
转载自:LLM之RAG实战(八)| 使用Neo4j和LlamaIndex实现多模态RAG。 数据预处理对数据创建索引多模态RAG pipeline结论转载 2024-01-15 15:49:46 · 355 阅读 · 1 评论 -
RAG实战 7 - 使用llama_index实现多模态RAG
转载自:LLM之RAG实战(七)| 使用llama_index实现多模态RAG。原创 2024-01-14 16:39:20 · 1833 阅读 · 1 评论 -
RAG 2 - 选择最佳embedding和重排序模型
一、理解Retrieval Evaluation中的评估指标:二、设置环境三、设置Key四、下载数据五、加载数据六、生成问题上下文对七、自定义检索器八、评估九、结果十、分析embedding性能重排序的影响重排序的必要性:总体优势十一、结论参考文献转载 2024-01-14 16:26:18 · 834 阅读 · 1 评论 -
高级RAG 1 - 使用小块检索
一、基本RAG回顾步骤1:加载文档步骤2:将文档解析为文本块(节点)步骤3:选择embedding模型和LLM步骤4:创建索引、检索器和查询引擎二、高级方法1:较小的子块参照较大的父块步骤1:创建较小的子块步骤2:创建索引、检索器和查询引擎三、高级方法2:语句窗口检索步骤1:创建句子窗口节点解析器步骤2:创建查询引擎结论转载 2024-01-13 21:15:55 · 131 阅读 · 1 评论 -
RAG实战4 - Self-RAG 如何革命工业LLM
(1) SELF-RAG 的目标SELF-RAG 的设计使得任意的语言模型(LM)可以生成包含“反思tokens”(reflection tokens) 的文本。这些token来自于扩展的模型词汇(即,原始词汇加上反思tokens)。(2) 训练细节生成模型M是在一个经过筛选的语料库上进行训练的,该语料库包含由检索器R检索到的段落和由评判模型C预测的反思tokens。(3) 评判模型C它被训练用于生成反思tokens,这些tokens用于评估检索到的段落和给定任务的输出质量。转载 2024-01-13 20:57:31 · 311 阅读 · 1 评论 -
RAG实战 3:LlamaIndex解锁自定义LLM关键步骤分块、索引、查询介绍
LLamaIndex是一个由Jerry Liu创建的Python库,它可以使用语言模型对大型文档集进行高效的文本搜索和摘要。开发人员可以使用LLamaIndex 快速添加私有/自定义数据,以增强现有的LLM。它不需要对大模型进行再训练,即可提供个性化和数据驱动的响应。由于大模型的上下文有限,处理超大文档的成本很高,而通过对原始文本上进行关键词搜索的效率是非常低的。为了克服这些挑战,LLamaIndex采用了两种关键策略:首先,它将文档分为较小的上下文,如句子或段落,这些上下文被称为节点。转载 2024-01-13 20:14:57 · 740 阅读 · 1 评论 -
RAG实战2 - 使用LlamaIndex + Metaphor 实现知识工作自动化
Metaphor API旨在将你的LLM连接到互联网,它允许你在互联网上进行完全神经化、高度语义化的搜索,还可以从结果中获得干净的HTML内容。根据人们在互联网上谈论事物的方式,Metaphor 被训练来预测互联网上的链接。例如,有人可能会这样发布他们读到的一篇很棒的文章:通过训练一个模型来预测人们谈论这些链接的方式,最终的结果是一种完全不同的互联网搜索方式——就像你要分享你想要的链接一样进行搜索。虽然一开始有点不直观,但以这种方式搜索可以返回极高质量的结果。转载 2024-01-13 19:29:01 · 261 阅读 · 1 评论 -
RAG实战1 - 使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
一、RAG介绍二、安装python环境以及相关的包三、导入相关包四、Mistral-7b模型介绍五、Embedding模型六、Prompt Template七、数据加载八、数据注入九、查询十、问答十一、基于Gradio搭建问答UI界面转载 2024-01-13 19:00:29 · 850 阅读 · 2 评论 -
RAG综述论文详解
大型语言模型(LLMs)在自然语言处理(NLP)领域的表现超越了之前任何模型。GPT系列模型、LLama系列模型、Gemini以及其他大型语言模型在多个评估基准上展现了卓越的语言和知识掌握能力,超越了人类水平。然而,大型语言模型也显示出许多缺点。它们常常制造虚假事实,在处理特定领域或高度专业化的查询时缺乏知识。例如,当所需信息超出模型训练数据的范围或需要最新数据时,LLM可能无法提供准确的答案。这一限制在将生成型人工智能部署到现实世界的生产环境中构成挑战,因为盲目使用黑盒LLM可能不够。转载 2024-01-12 11:19:09 · 281 阅读 · 1 评论 -
最全的RAG技术概览
介绍 基础RAG 高级RAG 1. 分块和向量化 1.1 分块 1.2 向量化 2.搜索索引 2.1向量存储索引 2.2 层次索引 2.3 假设性问题和HyDE 2.4 上下文增强 2转载 2024-01-11 16:16:02 · 414 阅读 · 1 评论 -
RAG综述论文详解(ArronAI)
LLM之RAG理论(二)| RAG综述论文详解 一、介绍 二、背景 2.1 定义 2.2 RAG与微调 三、RAG框架 3.1 Naive RAG 3.2 Advanced RAG 3.2.1 预检索过程 3.2.2 嵌入 微调嵌入转载 2024-01-10 19:11:45 · 201 阅读 · 0 评论 -
CHAIN-OF-NOTE - 笔记链提高RAG透明度
一、笔记链概述 二、阅读笔记的类型 三、笔记示例 3.1 类型1——直接回答: 3.2 类型2——有用上下文: 3.3 类型3——无关或未知: 四、训练模型 五、评估笔记链 六、个案研究 七、关键要点转载 2024-01-10 17:20:09 · 161 阅读 · 0 评论 -
面向生产的 LLM 优化
研究界不断提出新的、巧妙的方法来加速更大的 LLM 的推理。举个例子,一个颇有前景的研究方向是投机解码,其中“简单词元”是由更小、更快的语言模型生成的,而只有“难词元”是由 LLM 本身生成的。详细介绍超出了本文的范围,但可以阅读这篇不错的博文。GPT3/4、Llama-2-70b、Claude、PaLM 等海量 LLM 能够在或 ChatGPT 等聊天应用中快速运行的原因是很大一部分归功于上述精度、算法和架构方面的改进。转载 2024-01-03 18:53:29 · 81 阅读 · 1 评论 -
Transformers 中原生支持的量化方案概述
通过本文,我们比较了多种设置下的 bitsandbytes 和 GPTQ 量化。我们发现,bitsandbytes 更适合微调,而 GPTQ 更适合生成。(1) 使用 bitsandbytes 量化基础模型 (零样本量化)(2) 添加并微调适配器(3) 将训练后的适配器合并到基础模型或反量化模型之中!(4) 使用 GPTQ 量化合并后的模型并将其用于部署我们希望这个概述让每个人都能更轻松地将 LLM 应用至各自的应用场景中,我们期待看到大家用它构建自己的有趣应用!转载 2024-01-03 17:39:45 · 272 阅读 · 1 评论