基于 InternLM 和 LangChain 搭建你的知识库作业

一、基础作业

复现课程知识库助手搭建过程

1.环境配置

2.知识库搭建

• OpenCompass：面向大模型评测的一站式平台
• IMDeploy：涵盖了 LLM 任务的全套轻量化、部署和服务解决方案的高效推理工具箱
• XTuner：轻量级微调大语言模型的工具库
• InternLM-XComposer：浦语·灵笔，基于书生·浦语大语言模型研发的视觉-语言大模型
• Lagent：一个轻量级、开源的基于大语言模型的智能体（agent）框架
• InternLM：一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖

3.InternLM接入Langchain

为便捷构建 LLM 应用，我们需要基于本地部署的 InternLM，继承 LangChain 的 LLM 类自定义一个 InternLM LLM 子类，从而实现将 InternLM 接入到 LangChain 框架中。

4.构建检索问答链

LangChain 通过提供检索问答链对象来实现对于 RAG 全流程的封装。所谓检索问答链，即通过一个对象完成检索增强问答（即RAG）的全流程。

5.部署Web Demo

在完成上述核心功能后，我们可以基于 Gradio 框架将其部署到 Web 网页，从而搭建一个小型 Demo，便于测试与使用。

二、进阶作业

选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署

1.垂直领域

我选择的是垂直领域是民法典领域，下面是收集的部分内容展示。

2.构建个人数据库

由于源码中不支持使用json文件构建数据库，因此需要做一些修改，添加对json文件的支持。

 

3.web_demo测试 

 从结果可以看出能成功从个人构建的数据库中检索出上下文，然后进行回答。