书生浦语 第三课基于InternLM和LangChain搭建自己的知识库

最新推荐文章于 2024-02-21 13:25:14 发布
最新推荐文章于 2024-02-21 13:25:14 发布
阅读量682 收藏 5
点赞数 11
文章标签： langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunzhecui/article/details/135831550
版权
本文介绍了如何通过搭建知识库并配置本地连接的SSH服务，如使用`ssh-CNg-L7860:127.0.0.1:7860root@ssh.intern-ai.org.cn-p33090`，来实现向量数据库的连接与管理。
摘要由CSDN通过智能技术生成

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

构建向量数据库

在这里插入图片描述

搭建知识库入手

1。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
本地连接端口转换

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p 33090

在这里插入图片描述

yunzhecui
关注
  • 11
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
书生浦语一期作业和笔记
01-30
【书生浦语一期作业和笔记】是一份与学习 InternLM 相关的资源集合，主要包含书生浦语在学习过程中完成的一期作业及笔记。InternLM 是一个深度学习模型，尤其在自然语言处理（NLP）领域具有重要地位。这份资料能够...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语训练营-基于 InternLM 和 LangChain 搭建你的知识库
weixin_73902638的博客
02-13 1547
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。由于不同类型的文件需要对应不同的 FileLoader，我们判断目标文件类型，并针对性调用对应类型的 FileLoader，同时，调用 FileLoader 对象的 load 方法来得到加载之后的纯文本对象。目录，将该脚本和后续脚本均放在该目录下运行。微调技术的优势在于能够利用预训练模型的通用知识，同时通过针对性的训练适应具体任务，提升模型在特定应用场景下的性能。
《书生·浦语大模型全链路开源开放体系》笔记第三课 基于 InternLM 和 LangChain 搭建知识库
m0_65719612的博客
01-14 493
接着，我们实例化一个基于 InternLM 自定义的 LLM 对象：llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。我们可以基于 LangChain 的 Template 基类来实例化这样一个 Template 对象：# 我们所构造的 Prompt 模板。
基于 InternLM 和 Langchain 搭建你的知识库
Y2483490891的博客
01-08 1170
llm.predict("你是谁")# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}···如果给定的上下文无法让你做出回答，请回答你不知道。有用的回答:"""
书生·浦语 第三章：基于 InternLM 和 LangChain 搭建你的知识库
在人工智能的道路上爬行
01-14 497
在官方提供的教程中构建环境的命令如下。
书生·浦语大模型实战营：3.基于InternLM和LangChain搭建你的知识库
weixin_44288092的博客
01-10 881
复现课程知识库助手搭建过程 (截图)选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署（截图，并提供应用地址）环境配置，模型，代码下载同书生·浦语大模型实战营：2.轻松玩转书生·浦语大模型趣味 Demo LangChain相关环境配置 同时，需要使用到开源词向量模型：（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的） 首先需要使用 huggingface 官方提供的 huggingface
基于 InternLM 和 LangChain 搭建知识库
weixin_55546799的博客
01-09 944
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。将上述仓库中所有满足条件的文件路径找出来，我们定义一个函数，该函数将递归指定文件夹路径，返回其中所有满足条件（即后缀名为 .md 或者 .txt 的文件）的文件路径。选择 Chroma 作为向量数据库，基于上文分块后的文档以及加载的开源向量化模型，将语料加载到指定路径下的向量数据库。目录下已存储有所需的模型文件参数，可以直接拷贝到个人目录的模型保存地址。
[书生·浦语大模型实战营]——基于 InternLM 和 LangChain 搭建你的知识库
qq_41776136的博客
01-09 1121
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。
书生·浦语大模型:基于InternLM和LangChain搭建知识库
weixin_47233613的博客
01-26 374
LLM的局限性知识时效性受限：如何让LLM能够获取最新的知识专业能力有限：如何打造垂域大模型定制化成本高：如何打造个人专属的LLM应用RAG:低成本、可实时更新、受基座模型影响大、单词回答知识有限Finetune：可个性化微调、知识覆盖面广、成本高昂、无法实时更新。
基于InternLM和LangChain 搭建自己的知识库
m0_53408051的博客
02-21 1755
LangChain 框架是一个开源工具通过位各种LLM提供通用接口来简化应用程序开发流程，帮助开发者自行构建LLM应用。LangChain 的核心组件：链（Chains）:将组件组合实现端到端的应用，通过对一个对象封装实现一系列LLM操作。
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5678
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
SAP R3安装文档 .doc
07-11
SAP R3安装文档
T100快捷键.pdf
最新发布
07-11
T100快捷键
创意动漫主题招新PPT模板
07-11
【作品名称】：创意动漫主题招新PPT模板 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：创意动漫主题招新PPT模板

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值