Coggle 30 Days of ML（24年1/2月）-汽车知识问答RAG

已于 2024-03-02 17:14:21 修改
阅读量571 收藏 10
点赞数 11
文章标签： 语言模型
于 2024-01-29 21:31:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_strive/article/details/135921390
版权
本文探讨了RAG（RetrievalAugmentedGeneration）技术，一种结合大型语言模型生成能力和外部知识库检索的框架，以解决模型局限性、提高准确性和时效性。文章详细描述了RAG的工作原理、模块、优点与SFT的对比，以及与LangChain平台的集成，还涉及了查询改写、本地微调等进阶应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

任务1：初始RAG

1. 大型语言模型的局限性
(1) 模型幻觉问题：生成内容可能不准确或不一致
(2) 时效性问题：生成的内容不具有当前时效性
(3) 数据安全问题：可能存在敏感信息泄露风险

2. RAG目标
RAG被构建为一个应用于大型语言模型的框架，其目标是通过结合大模型的生成能力和外部知识库的检索机制，提升自然语言处理任务的效果。

3. RAG典型模板
你是一个{task}方面的专家，请结合给定的资料，并回答最终的问题。请如实回答，如果问题在资料中找不到答案，请回答不知道。
问题：{question}
资料：
- {information1}
- {information2}
- {information3}

4. RAG优点
(1) 提高准确性和相关性
(2) 改善时效性，使模型适应当前事件和知识
(3) 降低生成错误风险，依赖检索系统提供的准确信息

5. RAG和SFT对比
RAG优点：结合检索系统和生成模型。优点是能利用最新信息，提高答案质量，具有更好的可解释性和适应性
RAG缺点：是可能面临检索质量问题和增加额外计算资源需求
SFT优点：针对特定任务调整预训练模型。优点是可针对特定任务优化
SFT缺点：更新成本高，对新信息适应性较差

6. RAG流程
(1) 问题理解：准确把握用户的意图
(2) 知识检索：从知识库中相关的知识检索
(3) 答案生成：将检索结果与问题组合生成答案

7. RAG技术模块
(1) 意图理解：意图理解模块负责准确把握用户提出的问题，确定用户的意图和主题。处理用户提问的模糊性和不规范性，为后续流程提供清晰的任务目标。
(2) 文档解析：文档解析模块用于处理来自不同来源的文档，包括PDF、PPT、Neo4j等格式。该模块负责将文档内容转化为可处理的结构化形式，为知识检索提供合适的输入。
(3) 文档索引：文档索引模块将解析后的文档分割成短的Chunk，并构建向量索引。或通过全文索引进行文本检索，使得系统能够更快速地找到与用户问题相关的文档片段。
(4) 向量嵌入：向量嵌入模块负责将文档索引中的内容映射为向量表示，以便后续的相似度计算。这有助于模型更好地理解文档之间的关系，提高知识检索的准确性。
(5) 知识检索：知识检索模块根据用户提问和向量嵌入计算的相似度检索或文本检索打分。这一步骤需要解决问题和文档之间的语义关联，确保检索的准确性。
(6) 重排序：重排序模块在知识检索后对文档库

最低0.47元/天 解锁文章
chen_strive
关注
大模型学习资源分享（覆盖应用、原理、开发、资讯）
云上笛暮
08-17 1206
【前言】2022年的12月，对所IT从业者来说，应该都是记忆深刻的。那时chatgpt横空出世，席卷全球，大家都在寻求一个账号进行体验，随后这股趋势就一发不可收，百模型大战、千模大战相继而来。但在被各类AIGC应用惊艳后，我们自然想进一步探索其背后实现的原理，AI虽然门槛高，笔者自学过程中也’三起两落“过，幸运的是2022年底转机出现了，一方面确实感受到了生成式AI的强大，另一方面公司也刚好大力投入这块业务，理论结合实践，实践反哺理论，这一次确实扎进去了。
动手学RAG：汽车知识问答
张伟的专栏
01-29 2725
在自然语言处理领域，大型语言模型（LLM）如GPT-3、BERT等已经取得了显著的进展，它们能够生成连贯、自然的文本，回答问题，并执行其他复杂的语言任务。然而，这些模型存在一些固有的局限性，如“模型幻觉问题”、“时效性问题”和“数据安全问题”。为了克服这些限制，检索增强生成（RAG）技术应运而生。RAG技术结合了大型语言模型的强大生成能力和检索系统的精确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。
RAG检索增强生成---待完善
qq_53207874的博客
03-24 1312
是在文本检索中常用的一种策略，其目的是通过多个召回路径（或方法）综合获取候选文档，以提高检索的全面性和准确性。单一的召回方法可能由于模型特性或数据特点而存在局限性，多路召回逻辑引入了多个召回路径，每个路径采用不同的召回方法。Knowledge Base Question Answering，一种早期的对话系统方法，旨在利用结构化的知识库进行自然语言问题的回答。中检索最新、准确的信息，从而提高了答案的质量和时效性。------实现方法2：按照段落、句子、页不同的角度进行语义编码进行检索，综合得到检索结果。
RAG学习
m0_56392638的博客
02-23 1046
TF 和 IDF 一个关注词在当前出现频率，一个关注词出在当前文档的独特性（出现在了多少个文档），两者相乘就能得到这个词对该文档的独一无二性。BM25Okapi 是一种变体（改的简单了一点，感觉是省略掉了询问和文档之间的词频差异）下面 avgdl 代表文档平均长度，qfreq 代表询问中的词频，k1 和 b 都是可调超参，分别控制词频和文档长度影响。function call 指的是自己用语言描述一个函数，当模型接受到问题后，会分析是否要调用这个函数，若调用则从用户提供的文本中提取函数需要的函数值。
ChatGPT/GLM API使用
我在深圳的这些日子的博客
04-26 601
GLM 智谱 API调用
【RAG探索第3讲】LlamaIndex的API调用与本地部署实战
mrweiqk的博客
07-06 3342
今天给大家带来一个llamaindex的实战。分为两个部分，调用ChatGLM的API来用llamaindex和本地部署qwen1.5使用llamaindex。
Coggle 30 Days of ML（24年3月）基金金融问答-学习打卡
weixin_43753439的博客
03-17 454
通过自然语言交互，理解人类意图和目标，从语义信息中提出出知识，语言知识、常识知识、专业领域知识，然后通过特定的记忆机制，保存历史记录的长度和提取相关记忆的难度，需要总结和利用数据结构压缩存储。当检索和提取记忆时，可以根据不同的指标如重要性、相关性和最近性来进行设计。对于记忆的使用包括推理和规划，迁移泛化等方式 （in-context learning, continual leanring, multi-task learning）【2】multi-agent：合作（无序、有序），对抗（辩论）
RAG基础学习
weixin_42264784的博客
12-11 809
在自然语言处理领域，大型语言模型（LLM）如GPT-3、BERT等已经取得了显著的进展，它们能够生成连贯、自然的文本，回答问题，并执行其他复杂的语言任务。文本的长度是另一个关键因素，影响了文本编码的结果。这种方法基于一个存储在图数据库中的知识库，通常以三元组的形式表示为，其中每个三元组都附带相关的属性信息。TFIDF的最终值是将词项在文档中的频率和在整个文档集合中的逆文档频率相乘，这样可以得到一个更全面的评估，既考虑了在文档中的重要性，也考虑了在整个文档集合中的稀有性。
项目实训：初学大模型和RAG
m0_63155449的博客
05-30 1159
Coggle 30 Days of ML（24年1/2月）：动手学RAG - 竞赛学习 - Coggle竞赛论坛RAG技术结合了大型语言模型的强大生成能力和检索系统的精确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。步骤：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。
快速搭建自己的RAG应用（二）
DEVELOPERAA的博客
05-16 522
大型语言模型（LLM）的文本推理能力，宛如一位博学的公民，其智慧之源来自于互联网上公开的文献宝库。想象一下，这位名为LLM的公民，如同一位勤奋的学者，借阅了图书馆中所有的书籍，并将这些知识深深地烙印在自己的记忆之中。
RAG项目第一集：大模型的本地加载和提供API接口
AAI666666的博客
05-22 1237
于这个项目来说，因为考虑到数据不能出公司，所以不能用OPENAI的模型和接口，选择开源的大模型成了首要的问题，可根据显卡等配置的具体情况，选择不同参数的模型，笔者测试了llama2的13B模型，感觉不错，但是FASTCHAT不支持4Bite量化，所以改成了阿里的通义千问7B，也可以更好的理解中文。
基于深度学习的共享单车需求预测与智能调度策略
06-11
基于深度学习的共享单车预测与调度方案利用深度学习技术预测需求并优化调度策略。该技术通过大量数据训练模型，实现复杂模式的识别与预测。方案包含数据收集、预处理、模型构建、训练、验证和部署等环节，旨在提升共享单车服务效率，减少车辆闲置。应用场景包括需求预测、用户行为分析、智能调度、异常检测和模型优化。深度学习在该领域的应用展现了大数据和人工智能技术的潜力，有助于提升共享经济效率和用户体验，同时需考虑数据隐私、模型解释性和系统可扩展性等问题。内容来源于网络分享，如有侵权请联系我删除。
springboot358智慧社区居家养老健康管理系统pf.zip
06-11
java+vue+Springboot源代码+数据库+配套文档+教程
国产数据库选型评估体系建设经验参考.docx
最新发布
06-11
国产数据库选型评估体系建设经验参考.docx
RocksDB-前身今世之分解(NoSQL系列分享).doc
06-11
RocksDB-前身今世之分解(NoSQL系列分享).doc
springboot394疫情居家办公系统--论文pf.zip
06-11
java+vue+Springboot源代码+数据库+配套文档+教程
Oracle数据库高级压缩算法介绍.docx
06-11
Oracle数据库高级压缩算法介绍.docx
springboot354足球俱乐部管理系统--论文pf.zip
06-11
java+vue+Springboot源代码+数据库+配套文档+教程
中国家具市场现状与发展趋势-90后对全屋定制和智能家居关注度上升.docx
06-11
中国家具市场现状与发展趋势-90后对全屋定制和智能家居关注度上升.docx
输入cd /root/autodl-tmp/rag_project后显示bash: cd: /root/autodl-tmp/rag_project: No such file or directory我该怎么办？
03-08
<think>好的，我现在需要解决用户在命令行中使用cd命令时遇到的“No such file or directory”错误。用户的具体情况是尝试切换到“MiniCPM-V/finetune”目录，但系统提示路径不存在。这个问题可能由几个原因引起，我需要逐一分析。 首先，用户可能输入了错误的目录名或者路径拼写有误。常见的错误包括大小写不匹配、多余的空格或特殊字符，比如将“MiniCPM-V”写成“minicpm-v”或者“MiniCPM_V”。这时候需要仔细检查路径的每个部分是否正确。可以使用ls命令列出当前目录下的文件和文件夹，确认目标目录是否存在。如果目录不存在，可能需要重新创建或调整路径。 其次，用户可能没有正确进入上一级目录。例如，假设用户当前在根目录下，而“MiniCPM-V/finetune”位于另一个位置，比如“autodl-tmp/rag_project”下。这时候需要确保先进入正确的父目录。比如，先执行“cd autodl-tmp/rag_project”再尝试进入“MiniCPM-V/finetune”。如果路径层级有误，可能需要使用相对路径或绝对路径来正确导航。 另外，路径中的特殊字符可能需要转义处理。例如，如果目录名包含空格或括号，需要用引号包裹路径或者使用反斜杠转义。例如，“cd 'My Documents'”或“cd My\ Documents”。不过根据用户提供的路径“MiniCPM-V/finetune”，似乎没有特殊字符，但这一步仍然需要注意。 用户提到执行了“bash finetune_lora.sh”命令，可能是在正确的目录下运行该脚本。如果脚本依赖于特定目录中的文件，路径错误会导致脚本执行失败。因此，确认当前工作目录是否正确至关重要。 可能的解决步骤包括： 1. 使用pwd命令确认当前所在目录。 2. 使用ls检查当前目录下的内容，确认是否存在目标目录。 3. 如果路径错误，使用正确的相对或绝对路径重新进入。 4. 如果目录不存在，可能需要创建目录或检查项目结构是否正确。 另外，用户可能误用了绝对路径和相对路径。例如，假设“MiniCPM-V/finetune”位于用户的home目录下，但用户当前在另一个位置，需要使用绝对路径如“~/MiniCPM-V/finetune”或“/home/user/MiniCPM-V/finetune”。 还有可能是文件系统的区分大小写问题。某些系统区分大小写，因此目录名必须完全匹配。例如，“MiniCPM-V”和“minicpm-v”会被视为不同的目录。 总结起来，解决步骤应该是： - 检查路径拼写和大小写 - 确认当前目录结构 - 使用绝对路径或正确的相对路径 - 处理特殊字符 - 必要时创建缺失的目录 最后，用户需要根据具体情况调整命令，确保路径正确无误，才能成功进入目录并执行后续脚本。</think>要解决命令行中使用 `cd` 命令时出现的 **"No such file or directory"** 错误，请按照以下步骤排查和修复： --- ### **步骤 1：检查路径拼写和大小写** - **常见问题**：路径名称拼写错误或大小写不匹配（Linux 系统区分大小写）。 - 错误示例：`MiniCPM-V` 写成 `minicpm-v` 或 `MiniCPM_V`。 - **解决方法**： - 使用 `ls` 命令查看当前目录下的文件和文件夹，确认目标路径是否存在： ```bash ls # 查看当前目录内容 ls MiniCPM-V # 检查是否存在 MiniCPM-V 目录 ``` --- ### **步骤 2：确认路径层级关系** - **常见问题**：未正确进入父目录。例如，若 `MiniCPM-V/finetune` 位于 `autodl-tmp/rag_project` 目录下，需先进入父目录： ```bash cd autodl-tmp/rag_project # 先进入父目录 cd MiniCPM-V/finetune # 再进入子目录 ``` - **解决方法**： - 使用 `pwd` 查看当前绝对路径，逐步检查目录层级： ```bash pwd # 输出当前路径（例如：/root/autodl-tmp） ``` --- ### **步骤 3：处理特殊字符或空格** - **常见问题**：路径包含空格或特殊字符（如括号、引号），需用引号包裹或转义： ```bash cd "Path With Spaces" # 路径含空格时用引号 cd Special\&Char # 转义特殊字符 ``` - 根据你的路径 `MiniCPM-V/finetune`，未发现特殊字符，但需注意大小写。 --- ### **步骤 4：使用绝对路径替代相对路径** - **直接通过绝对路径跳转**（更稳定）： ```bash cd /root/autodl-tmp/rag_project/MiniCPM-V/finetune ``` - 若不确定绝对路径，可通过 `find` 命令搜索目录： ```bash find / -type d -name "finetune" 2>/dev/null ``` --- ### **步骤 5：手动创建缺失目录** - 若目录确实不存在，需创建目录： ```bash mkdir -p MiniCPM-V/finetune # -p 参数自动创建父目录 cd MiniCPM-V/finetune ``` --- ### **总结命令流程** ```bash # 1. 检查路径是否存在 ls -l /root/autodl-tmp/rag_project/MiniCPM-V # 2. 进入父目录（根据实际情况调整） cd /root/autodl-tmp/rag_project # 3. 进入目标目录 cd MiniCPM-V/finetune # 4. 执行脚本 bash finetune_lora.sh ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值