大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库

已于 2024-01-10 18:30:29 修改
阅读量674 收藏 8
点赞数 13
分类专栏： # 书生·浦语大模型 文章标签： langchain RAG LLM InternLM AIGC
于 2024-01-09 23:59:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135492002
版权
本文介绍了如何利用InternLM和LangChain搭建知识库，包括大模型开发的局限性、RAG与Finetune方法比较、LangChain的核心模块、向量数据库构建、实战部署步骤以及WebDemo的实现。通过这些技术，开发者可以创建个性化的知识库并解决检索精度和提示性能问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

基于InternLM和LangChain搭建知识库

在这里插入图片描述

1 大模型开发范式

在这里插入图片描述

LLM的局限性

在这里插入图片描述

  • 知识受限：最新知识无法实时获取
  • 专业能力有限：有广度无深度
  • 定制化成本高：训练成本高

RAG VS Finetune

在这里插入图片描述
RAG：

  • 无需重新训练
  • 组织外挂加入知识
  • 容易受基座模型的影响
  • 问题+回答一起送入大模型，占据token长度

Finetune

  • 个性化微调：风格，领域知识
  • 知识面覆盖广：新的数据集及通用数据集按照比例混合
  • 训练成本高
  • 无法实时更新

RAG检索增强

在这里插入图片描述

2 LangChain简介

在这里插入图片描述

  • 开源
  • 通用
  • 核心模块：
    • chains
    • agent

基于LangChain搭建RAG应用

在这里插入图片描述

3 构建向量数据库

在这里插入图片描述
在这里插入图片描述

  • 加载源文件
    • 不同的文件有不同的加载方式
  • 文档分块chunk
    • 字符串长度分割
    • 重叠区间
    • 代码的话就是代码块 类等
  • 文档向量化
    • 文档embedding
    • 存入向量数据库

4 搭建知识库助手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
限制：

  • 检索精度
  • prompt性能

5 Web Demo部署

在这里插入图片描述
在这里插入图片描述

6 动手实战环节

在这里插入图片描述

创建开发机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

新建虚拟环境

在这里插入图片描述
在这里插入图片描述

安装相关依赖

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

下载模型文件

本机有，可以先复制
在这里插入图片描述
在这里插入图片描述

  • internLM-7B
  • modelscope
  • huggfingace：sentence-transformer
  • nltk
  • punkt
  • tagger

搭建自己知识库

  • 克隆opencompass项目
    在这里插入图片描述
  • 构建向量数据库
    • 导入数据md，txt文件
    • 获取文件中的文本
    • 对文本进行分块
    • 词向量模型进行编码
    • 加载数据到向量库Chroma
    • 向量库保存到本地磁盘
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

将InternLM接入LangChain

在这里插入图片描述

构建检索问答链

在这里插入图片描述

  • 加载词向量模型
  • 加载LLM模型
  • 定义Prompt 模板
    • 不懂的要回答说不知道，缓解幻觉问题
  • 运行chain

在这里插入图片描述

  • 存储检索问答链的对象
    在这里插入图片描述
    在这里插入图片描述

  • 实例化核心功能对象

  • gradio创建聊天机器人页面

执行代码

python web_demo.py

在这里插入图片描述
自己部署，知识库为kkndme关于房价的
Ib0bN.png
Ibknm.png
Ib6Tt.png
IbmRC.png

  • 注意：demo要在本地打开，不然显示界面乱码；本地打开需要进行端口映射

参考

uncle_ll
关注
  • 13
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
《AI大模型应用》-书生·浦语大模型.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5741
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
**AIGC：人工智能生成内容的深度解析**
Chujun123528的博客
07-22 1074
随着人工智能技术的飞速发展，一种新兴的概念——“AIGC”（Artificial Intelligence Generated Content，即人工智能生成内容）正逐渐进入人们的视野，并在多个领域展现出巨大的潜力和应用价值。此外，随着数据量的不断增加和模型复杂度的提高，AIGC的计算和存储成本也在不断增加，这对硬件和算法都提出了更高的要求。它是指利用人工智能技术，根据给定的主题、关键词、格式、风格等条件，自动生成各种类型的文本、图像、音频、视频等内容。：CV技术在AIGC中主要用于图像和视频内容的生成。
智能体类型探索：从专精到全能，AIGC的多样化应用之路
AI心易行者
07-23 704
垂直智能体，顾名思义，专注于一个狭窄而深入的专业领域。它们的设计目的是针对特定任务或行业需求进行优化，因此具备极高的专业性和定制化水平。这类智能体通常需要大量的专业知识库和高度精确的数据模型支持，以确保其在所专注领域的高效运行。与垂直智能体相反，水平智能体擅长处理多领域、多任务的情况，其设计原则在于泛用性和适应性。这意味着它们可以在不特定的环境下工作，尽管可能不如垂直智能体那样在某一领域内表现得那么专业，但其多样化的应用能力使它们成为日常生活和工作中不可或缺的辅助工具。
AIGC-ToonCrafter: Generative Cartoon Interpolation-CVPR2024
hflexxx的博客！喜欢的话点个关注！
07-22 658
AIGC-ToonCrafter: Generative Cartoon Interpolation，CVPR2024论文精读
AIGC的神秘面纱——利用人工智能生成内容改变我们的生活
Go__July的博客
07-23 1258
AIGC，全称Artificial Intelligence Generated Content，指的是由人工智能技术自动生成的各种内容，如文本、图像、视频等。它可以理解和处理自然语言，生成详细的答案。通过服务器的本土化部署，为用户提供了极速的体验和合规的安全保障，解决了过去依赖VPN和面临跨境支付风险的问题。通义千问的广泛应用不仅在于其强大的语言处理能力，还在于其对开发者友好的设计，使其能够轻松集成到各种应用场景中，提升效率和创造力。：不断学习如何优化使用AIGC，选择合适的提示词，提高生成内容的质量。
【AIGC】多头注意力机制（MHA）的NumPy实现
SimpleLearning
07-25 413
MHA是Transformer架构中的关键组成部分，它允许模型在多个位置并行地捕捉输入序列的不同方面。与传统的注意力机制相比，MHA通过将输入数据分割成多个头，每个头学习不同的表示，从而增强了模型的表达能力。
不备案的后果：违规提供AIGC服务遭处罚
shadowteamcn的博客
07-24 616
算法推荐服务提供者违反本规定第七条、第八条、第九条第一款、第十条、第十四条、第十六条、第十七条、第二十二条、第二十四条、第二十六条规定，法律、行政法规有规定的，依照其规定；AIGC服务可以快速、低成本地生成高质量的内容，包括文本、图像、音频和视频等，广泛应用于新闻、教育、娱乐等领域。第六条 利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
AIGC 文生图 DiffSynth-Studio微调lora训练案例
weixin_42357472的博客
07-25 1027
参考： https://github.com/modelscope/DiffSynth-Studio https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/train/kolors 环境 模型 下载数据集： 注意metadata.csv与数据集图片放一个目录train文件夹下 地址：https://modelscope.cn/datasets/buptwq/lora-stable-diffusion-finetune/files
【AIGC】ComfyUI入门-安装ComfyUI
移动的130
07-22 1165
ComfyUI入门-安装ComfyUI主要讲述了在Mac系统电脑M系列CPU的安装和Windows系统电脑的安装
【AIGC目录】
移动的130
07-22 412
本篇文章为AIGC的目录
艾瑞咨询《2023年中国AIGC产业全景报告》【下载】
最新发布
cybtec的博客
07-25 501
艾瑞咨询《2023年中国AIGC产业全景报告》【下载】
Agent类型解析：AI生成内容(AIGC)在不同领域的应用与影响
jixn的博客
07-24 1958
AI生成内容技术正在逐步改变多个行业的运作方式，其潜在的应用前景非常广阔。然而，随着AIGC技术的普及和应用，也必须考虑其带来的道德和社会问题，如内容的真实性和知识产权等问题。未来，AIGC将在确保合理合法应用的前提下，继续推动各行各业的创新发展。
数里行间创始人郭振：AIGC如何打造跨境电商增长新引擎
AImatters的博客
07-24 734
AI客服已经能够实现50%的问题平均解决率和不低于人工标准的客户满意度。
极客天成NVFile全闪存储加速千卡AIGC大模型训练平台
Wulalalaaaaa的博客
07-23 327
极客天成NVFile全闪存储加速千卡AIGC大模型训练平台
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值