#本博客是参加上海人工智能实验室OPENMMLAB大模型实战营活动而作
更多详情请看
一、大模型开发范式
LLM具有一定的局限性,限制了大模型真正的应用落地:
知识时效性受限制:如何让LLM能够获取最新的知识
专业能力有限:如何打造垂直领域大模型
定制化成本较高:如何打造个人专属的LLM应用
目前有两种主流的开发范式:
第一种类是RAG (检索增强生成)以及Finetune(微调)
RAG的核心思想是给大模型一个知识库,对于用户的提问会首先匹配到知识库的相关文档,将文档和提问一起交给大模型来生成回答,从而提高知识储备。
Finetune 是在一个较小的训练集上进行轻量微调,提升模型在新数据集上的能力。
RAG的特点主要是低成本,可实时更新,受基座模型影响大以及单次回答知识有限。
Finetune的特点是可以个性化微调,知识覆盖面广,成本高昂,以及无法实时更新。
这次课中学习了RAG检索增强生成的原理开发特点,如何基于InternLM来进行RAG开发应用:
对于用户的输入,首先基于sentence transformer进行文本向量化然后在向量数据库中匹配相似的文本段 ,然后将用户的输入和相似的文本段放入相同的框架中,输入给InternLM得到用户的回答。
二、LangChain 简介
LangChain 框架是一个开源工具通过位各种LLM提供通用接口来简化应用程序开发流程,帮助开发者自行构建LLM应用。
LangChain 的核心组件:
链(Chains):将组件组合实现端到端的应用,通过对一个对象封装实现一系列LLM操作。
如何基于LangChain搭建RAG应用:
首先采用Unstructed Loader 将所有文档转化成统一的格式,然后将Text进行分割成chunks,再通过开源词向量模型Sentence Transformer 将其转化成向量存储到向量库中。
再将用户的输入装华为相同维度的向量模型,进行相似度的匹配,找到相同的文本段,将相同的文本段存储到prompt Template中,最后交给InternLM输出答案。
三、构建向量数据库
向量数据库的构建主要有加载源文件,文档分块,文档向量化三个部分构成。
由于数据类型多样化,所以需要确定源文件类型,针对不同类型源文件选用不同的加载器
核心在于将带格式文本转化位无格式字符串
由于单个文档往往超过模型上下文上限,我们需要对加载的文档进行切分
一般按字符串长度进行分割
可以手动控制分割快的长度和重叠区间长度从而提升向量库的检索效果
使用向量库来支持语义检索需要将文档向量化存入向量数据库
可以使用同任意一种Embedding模型来进行向量化
可以使用多种支持语义检索的向量数据库,一般使用轻量级的Chroma
四、搭建知识库助手
将InternLM接入LangChain:
LangChain 支持自定义LLM,可以直接接入到框架中
我们只需要将InternLM部署在本地,并自定义封装一个LLM类,调用本地InternLM即可。
构架检索问答链:
- LangChain提供了检索问答链模板,可以自动实现知识检索、Prompt嵌入、LLM问答的全部流程
- 将给予InternLM的自定义LLM和已构件的向量数据库介入到检索问答链的尚有
- 调用检索问答链,即可实现知识库助手的核心功能
基于RAG的方案优化建议:
核心受限于:检索精度和Prompt性能
一些可能的优化点:
1. 检索方面:
- 基于语义进行分割,确保每一个chunk的语义完整
- 给予每一个chunk生成概况式索引,检索时匹配索引
2. Prompt方面
迭代优化Prompt策略
五、Web Demo 部署
有很多支持简易部署的框架,如gradio,streamlit等等,这里采用gradio进行部署,个人理解是个类似于大模型接入的可调参的ui界面(类似stable_diffusion之前的界面)
六、动手实践过程(基础作业)
将下方文件保存为construct_ds.py,实现数据格式读入(这里只有txt和md文件)
# 首先导入所需第三方库
from langchain.document_loaders import UnstructuredFileLoader
from langchain.document_loaders import UnstructuredMarkdownLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from tqdm import tqdm
import os
# 获取文件路径函数
def get_files(dir_path):
# args:dir_path,目标文件夹路径
file_list = []
for filepath, dirnames, filenames in os.walk(dir_path):
# os.walk 函数将递归遍历指定文件夹
for filename in filenames:
# 通过后缀名判断文件类型是否满足要求
if filename.endswith(".md"):
# 如果满足要求,将其绝对路径加入到结果列表
file_list.append(os.path.join(filepath, filename))
elif filename.endswith(".txt"):
file_list.append(os.path.join(filepath, filename))
return file_list
# 加载文件函数
def get_text(dir_path):
# args:dir_path,目标文件夹路径
# 首先调用上文定义的函数得到目标文件路径列表
file_lst = get_files(dir_path)
# docs 存放加载之后的纯文本对象
docs = []
# 遍历所有目标文件
for one_file in tqdm(file_lst):
file_type = one_file.split('.')[-1]
if file_type == 'md':
loader = UnstructuredMarkdownLoader(one_file)
elif file_type == 'txt':
loader = UnstructuredFileLoader(one_file)
else:
# 如果是不符合条件的文件,直接跳过
continue
docs.extend(loader.load())
return docs
# 目标文件夹
tar_dir = [
"/root/data/InternLM",
"/root/data/InternLM-XComposer",
"/root/data/lagent",
"/root/data/lmdeploy",
"/root/data/opencompass",
"/root/data/xtuner"
]
# 加载目标文件
docs = []
for dir_path in tar_dir:
docs.extend(get_text(dir_path))
# 对文本进行分块
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)
# 加载开源词向量模型
embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")
# 构建向量数据库
# 定义持久化路径
persist_directory = 'data_base/vector_db/chroma'
# 加载数据库
vectordb = Chroma.from_documents(
documents=split_docs,
embedding=embeddings,
persist_directory=persist_directory # 允许我们将persist_directory目录保存到磁盘上
)
# 将加载的向量数据库持久化到磁盘上
vectordb.persist()
将以下内容保存为LLM.py
from langchain.llms.base import LLM
from typing import Any, List, Optional
from langchain.callbacks.manager import CallbackManagerForLLMRun
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
class InternLM_LLM(LLM):
# 基于本地 InternLM 自定义 LLM 类
tokenizer : AutoTokenizer = None
model: AutoModelForCausalLM = None
def __init__(self, model_path :str):
# model_path: InternLM 模型路径
# 从本地初始化模型
super().__init__()
print("正在从本地加载模型...")
self.tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
self.model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).to(torch.bfloat16).cuda()
self.model = self.model.eval()
print("完成本地模型的加载")
def _call(self, prompt : str, stop: Optional[List[str]] = None,
run_manager: Optional[CallbackManagerForLLMRun] = None,
**kwargs: Any):
# 重写调用函数
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""
messages = [(system_prompt, '')]
response, history = self.model.chat(self.tokenizer, prompt , history=messages)
return response
@property
def _llm_type(self) -> str:
return "InternLM"
最后是webdemo的实现,保存为web_demo.py
from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
import os
from LLM import InternLM_LLM
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA
def load_chain():
# 加载问答链
# 定义 Embeddings
embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")
# 向量数据库持久化路径
persist_directory = 'data_base/vector_db/chroma'
# 加载数据库
vectordb = Chroma(
persist_directory=persist_directory, # 允许我们将persist_directory目录保存到磁盘上
embedding_function=embeddings
)
# 加载自定义 LLM
llm = InternLM_LLM(model_path = "/root/data/model/Shanghai_AI_Laboratory/internlm-chat-7b")
# 定义一个 Prompt Template
template = """使用以下上下文来回答最后的问题。如果你不知道答案,就说你不知道,不要试图编造答
案。尽量使答案简明扼要。总是在回答的最后说“谢谢你的提问!”。
{context}
问题: {question}
有用的回答:"""
QA_CHAIN_PROMPT = PromptTemplate(input_variables=["context","question"],template=template)
# 运行 chain
qa_chain = RetrievalQA.from_chain_type(llm,retriever=vectordb.as_retriever(),return_source_documents=True,chain_type_kwargs={"prompt":QA_CHAIN_PROMPT})
return qa_chain
class Model_center():
"""
存储检索问答链的对象
"""
def __init__(self):
# 构造函数,加载检索问答链
self.chain = load_chain()
def qa_chain_self_answer(self, question: str, chat_history: list = []):
"""
调用问答链进行回答
"""
if question == None or len(question) < 1:
return "", chat_history
try:
chat_history.append(
(question, self.chain({"query": question})["result"]))
# 将问答结果直接附加到问答历史中,Gradio 会将其展示出来
return "", chat_history
except Exception as e:
return e, chat_history
import gradio as gr
# 实例化核心功能对象
model_center = Model_center()
# 创建一个 Web 界面
block = gr.Blocks()
with block as demo:
with gr.Row(equal_height=True):
with gr.Column(scale=15):
# 展示的页面标题
gr.Markdown("""<h1><center>InternLM</center></h1>
<center>书生浦语</center>
""")
with gr.Row():
with gr.Column(scale=4):
# 创建一个聊天机器人对象
chatbot = gr.Chatbot(height=450, show_copy_button=True)
# 创建一个文本框组件,用于输入 prompt。
msg = gr.Textbox(label="Prompt/问题")
with gr.Row():
# 创建提交按钮。
db_wo_his_btn = gr.Button("Chat")
with gr.Row():
# 创建一个清除按钮,用于清除聊天机器人组件的内容。
clear = gr.ClearButton(
components=[chatbot], value="Clear console")
# 设置按钮的点击事件。当点击时,调用上面定义的 qa_chain_self_answer 函数,并传入用户的消息和聊天历史记录,然后更新文本框和聊天机器人组件。
db_wo_his_btn.click(model_center.qa_chain_self_answer, inputs=[
msg, chatbot], outputs=[msg, chatbot])
gr.Markdown("""提醒:<br>
1. 初始化数据库时间可能较长,请耐心等待。
2. 使用中如果出现异常,将会在文本输入框进行展示,请不要惊慌。 <br>
""")
gr.close_all()
# 直接启动
demo.launch()
结果如下:(可能数据中没有csdn的知识,略显尴尬)
我问了一下他我的朋友陈志远是谁(xswl)
七、最后
以上内容由于时间原因写的略微粗糙,大家还是多参考官方文档和B站视频(在文章开头处)