大模型实战营Day3 基于 InternLM 和 LangChain 搭建你的知识库

已于 2024-01-13 09:43:32 修改
阅读量408 收藏 6
点赞数 7
分类专栏： LLM 文章标签： langchain 大模型 InternLM
于 2024-01-13 09:39:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li4692625/article/details/135565829
版权
本文探讨了LLM（语言模型）在知识时效性、专业能力定制化和成本上的局限性，比较了RAG（检索问答生成）与FineTune模型的优缺点。RAG因其较低的外挂知识库成本和LangChain框架的易用性受到关注，但FineTune模型的更新成本和GPU资源需求较高。同时，文中提出了基于LangChain优化RAG应用和检索方向Prompt的可能性。
摘要由CSDN通过智能技术生成

LLM的局限性： 知识时效性，专业能力，定制化成本


两种大模型开发范式： RAG FineTune

RAG: 检索问答生成 外挂知识库 成本低

FineTune： 更新成本高 GPU算力要求高


RAG开发框图： 用户输入 文本向量化 匹配相似文本段


LangChain框架介绍

开源工具 提供LLM通用接口 简化应用程序开发

核心组件： 链（chains） 例如 检索问答链 覆盖RAG的全部流程


基于LangChain搭建RAG应用

加载源文件 文档分块 文档向量化

InternLM接入LangChain

向量数据库构建

基于RAG问答系统可能的优化点： 检索方向 Prompt

流浪德意志
关注
专栏目录
Text2SQL中不同数据库SQL之间转换的实战代码
herosunly的博客
06-27 8万+
本文主要介绍了Text2SQL中不同数据库SQL之间转换的实战代码，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. SQL转换实战代码
【AI大模型应用开发】【LangChain系列】5. 实战LangChain的智能体Agents模块
同学小张的博客
02-11 3878
LangChain的智能体Agents模块实战，一步步拆解实现步骤。
大模型实战营Day3 基于 InternLM 和 LangChain 搭建你的知识库：作业
qq_45898162的博客
02-15 1417
选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署（截图，并提供应用地址）
书生·浦语大模型实战营：3.基于InternLM和LangChain搭建你的知识库
weixin_44288092的博客
01-10 927
复现课程知识库助手搭建过程 (截图)选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署（截图，并提供应用地址）环境配置，模型，代码下载同书生·浦语大模型实战营：2.轻松玩转书生·浦语大模型趣味 Demo LangChain相关环境配置 同时，需要使用到开源词向量模型：（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的） 首先需要使用 huggingface 官方提供的 huggingface
大模型实战营Day3 作业
li4692625的博客
01-13 461
选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在。复现课程知识库助手搭建过程 (截图)上成功部署（截图，并提供应用地址）
大模型实战营 笔记和作业集合
li4692625的博客
01-29 550
【大模型实战营Day4 XTuner大模型单卡低成本微调实战 - CSDN App】http://t.csdnimg.cn/HQMoP。【大模型实战营Day5 LMDeploy大模型量化部署实践 - CSDN App】http://t.csdnimg.cn/xpust。【大模型实战营Day6 OpenCompass 大模型评测 - CSDN App】http://t.csdnimg.cn/OeBh7。
InternLM2实战Day02：构建RAG智能助手，茴香豆版——书生·浦语2.0解析
fengbeely的博客
06-28 709
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
书生·浦语大模型实战营Day03茴香豆
个人小站：www.xiaowangyun.com
04-15 1077
书生·浦语大模型实战营Day03茴香豆：搭建你的 RAG 智能助理
书生·浦语2.0(InternLM2)大模型实战--Day02 茴香豆 | 搭建RAG智能助理
sinat_29950703的博客
04-11 718
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换
程序员光剑
06-21 1万+
自定义AI可以是用户自己部署的任意AI模型，例如ChatGLM、ChatGPT、文心一言、通义千问等等，但是自定义的接口输入和输出需要符合自定义的协议规范才可快速使用，否则可能需要二次开发。代码中提供了两个DEMO，只需要配置自定义AI接口地址，以及接口是否流式输出即可查看。具体使用中可以参考DEMO接口来编写自定义接口，或者直接在DEMO接口中进行二次开发，封装自己的自定义接口自定义的流式输出接口配置DEMO自定义的非流式输出接口配置DEMO。
基于AI大模型（LLM）In-Context Learning 实现自然语言转DSL的详细技术方案设计和具体代码实例说明
程序员光剑
07-14 4194
在当前人工智能快速发展的时代，自然语言处理（NLP）技术正在不断突破传统界限。其中，将自然语言转换为领域特定语言（Domain-Specific Language，DSL）的需求日益增长。这种转换不仅能够提高开发效率，还能降低非技术人员与复杂系统交互的门槛。近年来，以GPT（Generative Pre-trained Transformer）为代表的大型语言模型（Large Language Models，LLMs）在各种NLP任务中展现出惊人的能力。
【AI Code】CodeGeex：你的免费AI编程助手——基于清华ChatGLM的130亿参数预训练大模型
热门推荐
程序员光剑
04-12 2万+
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现，在鹏城实验室“鹏城云脑II”中的192个节点（共1536个国产昇腾910 AI处理器）上训练而成。截至2022年6月22日，CodeGeeX历时两个月在20多种编程语言的代码语料库（>8500亿Token）上预训练得到。高精度代码生成。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1257
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医
09-26
医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统-医院后台管理系统 1、资源说明：医院后台管理系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBo
网络综合布线施工方案书.doc
09-26
网络综合布线施工方案书
工厂车间管理系统 基于Springboot和Mysql的工厂车间管理系统代码（程序，中文注释）
最新发布
09-26
工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统-工厂车间管理系统 1、资源说明：工厂车间管理系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBo
stm32矩阵键盘驱动程序.zip
09-26
stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序 stm32矩阵键盘驱动程序
从Servlet+JSP+JDBC到MyBatis：重构用户CRUD操作的高效之旅第二版
09-26
修改了删除确认的操作
OpenMMLab与计算机视觉基础：AI实战营Day1精华
"本次课程是AI基础实战营的第一天，主要介绍了计算机视觉的基本概念和OpenMMLab开源算法体系。由同济大学的张子豪主讲，内容涵盖了从计算机视觉的基本问题，如图像识别、人脸识别，到更高级的应用如图像生成、风格...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值