[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG

本文链接：https://blog.csdn.net/2401_85280307/article/details/139346592

一准备工作

下面是构建这个应用程序时将使用的软件工具:

1.Llama-cpp-python

下载llama-cpp, llama-cpp-python

[NLP] Llama2模型运行在Mac机器-
CSDN博客

2、LangChain

LangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常见聊天机器人、数据分析和文档问答等应用。

3、sentence-transformer

sentence-transformer提供了简单的方法来计算句子、文本和图像的嵌入。它能够计算100多种语言的嵌入。我们将在这个项目中使用开源的all-
MiniLM-L6-v2模型。

4、FAISS

Facebook AI相似度搜索(FAISS)是一个为高效相似度搜索和密集向量聚类而设计的库。

给定一组嵌入，我们可以使用FAISS对它们进行索引，然后利用其强大的语义搜索算法在索引中搜索最相似的向量。

虽然它不是传统意义上的成熟的向量存储(如数据库管理系统)，但它以一种优化的方式处理向量的存储，以实现有效的最近邻搜索。

二 LLM应用架构：以文档Q&A为例

假设我们想基于自己部署的Llama2模型，构建一个用于回答针对特定文档内容提问的聊天机器人。文档的内容可能属于特定领域或者特定组织内的文档，因此不属于任何Llama2进行预训练和微调的数据集。一个直觉的做法是in-
context-
learning：将文档作为Prompt提供给模型，从而模型能够根据所提供的Context进行回答。直接将文档作为Context可能遇到的问题是：

文档的长度超出了模型的Context长度限制，原版Llama2的Context长度为4096个Tokens。
对于较长的Context，模型可能会Lost in the Middle，无法准确从Context中获取关键信息。

因此，我们希望在构建Prompt时，只输入与用户的问题最相关的文档内容。

以下是构建文档Q&A应用的常用架构：

文档处理与存储：将原始文本进行分块 (Splitting)，并使用语言模型对每块文本进行embedding，得到文本的向量表示，最后将文本向量存储在支持相似性搜索的向量数据库中。
用户询问和Prompt构建：根据用户输入的询问，使用相似性搜索在向量数据库中提取出与询问最相关的一些文档分块，并将用户询问+文档一起构建Prompt，随后输入LLM并得到回答。

三实际使用

LangChain

在上节中描述了以文档Q&A为例的LLM应用Pipeline架构。LangChain
是构建该类大模型应用的框架，其提供了模块化组件（例如上文图中的Document loader, Text splitter, Vector
storage）的抽象和实现，并支持集成第三方的实现（例如可以使用不同第三方提供的Vector
Storage服务)。通过LangChain可以将大模型与自定义的数据源结合起来构建Pipeline。

[https://github.com/langchain-ai/langchaingithub.com/langchain-
ai/langchain](https://link.zhihu.com/?target=https%3A//github.com/langchain-
ai/langchain “https://github.com/langchain-ai/langchaingithub.com/langchain-
ai/langchain”)

构建步骤

我们已经了解了各种组件，接下来让逐步介绍如何构建文档问答应用程序。

由于已经有许多教程了，所以我们不会深入到复杂和一般的文档问答组件的细节(例如，文本分块，矢量存储设置)。在本文中，我们将把重点放在开源LLM和CPU推理方面。

使用llama-cpp-python启动llama2 api服务

python3 -m llama_cpp.server --model TheBloke--Chinese-Alpaca-2-7B-GGUF/chinese-alpaca-2-7b.Q4_K_M.gguf   --n_gpu_layers 1

INFO:     Started server process [63148]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://localhost:8000 (Press CTRL+C to quit)

使用LangChain调用本地部署的Llama2

下面的示例将使用LangChain的API调用本地部署的Llama2模型。

from langchain.chat_models import ChatOpenAI

chat_model = ChatOpenAI(openai_api_key = "EMPTY", openai_api_base = "http://localhost:8000/v1", max_tokens=256)

由于本地部署的llama-cpp-python提供了类OpenAI的API，因此可以直接使用ChatOpenAI接口，这将调用/v1/chat/completions API。
由于并没有使用真正的OpenAI API，因此open_ai_key可以任意提供。openai_pi_base为模型API的Base URL。max_tokens限制了模型回答的长度。

from langchain.chat_models import ChatOpenAI

chat_model = ChatOpenAI(openai_api_key = “EMPTY”, openai_api_base = “http://localhost:8000/v1”, max_tokens=256)

from langchain.schema import AIMessage, HumanMessage, SystemMessage

system_text = “You are a helpful assistant.”
human_text1 = “What is the capital of France?”
assistant_text = “Paris.”
human_text2 = “How about England?”

messages = [SystemMessage(content=system_text),
HumanMessage(content=human_text1),
AIMessage(content=assistant_text),
HumanMessage(content=human_text2)]

chat_model.predict_messages(messages)

四文档Q&A应用

这里将演示如何使用LangChain构建一个简单的文档Q &A应用Pipeline：

Document Loading + Text Splitting
Text Embeddings + Vector Storage
Text Retrieval + Query LLM

1 数据加载与处理 Document Loading + Text Splitting

本实验使用llama.cpp的README.md作为我们需要进行询问的文档。LangChain提供了一系列不同格式文档的Loader，包括用于加载Markdown文档的UnstructuredMarkdownLoader:

UnstructuredMarkdownLoader默认会将文档中的不同Elements（各级标题，正文等）组合起来，去掉了#等字符。

RecursiveCharacterTextSplitter是对常见文本进行Split的推荐选择：

RecursiveCharacterTextSplitter递归地在文本中寻找能够进行分割的字符（默认为["\n\n", "\n", " ", ""])。这将尽可能地保留完整的段落，句子和单词。

chunk_size: 文本进行Split后每个分块的最大长度，所有分块将在这个限制以内
chunk_overlap: 前后分块overlap的长度，overlap是为了保持前后两个分块之间的语义连续性
length_function: 度量文本长度的方法

from langchain.document_loaders import UnstructuredMarkdownLoader

loader = UnstructuredMarkdownLoader(“./README.md”)
text = loader.load()

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
chunk_size = 2000,
chunk_overlap = 400,
length_function = len,
is_separator_regex = False
)
all_splits = text_splitter.split_documents(text)

2.矢量存储 Text Embeddings + Vector Storage

这一步的任务是：将文本分割成块，加载嵌入模型，然后通过FAISS 进行向量的存储

Vector Storage

这里以FAISS向量数据库作为示例， FAISS基于Facebook AI Similarity Search(Faiss)库。

pip install faiss-cpu



from langchain.embeddings import HuggingFaceEmbeddings 
# Load embeddings model 
embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2', 
                                   model_kwargs={'device': 'cpu'}) 

from langchain.vectorstores import FAISS
vectorstore = FAISS.from_documents(all_splits, embeddings) 
vectorstore.save_local('vectorstore/db_faiss')

#question = "How to run the program in interactive mode?"
#docs = vectorstore.similarity_search(question, k=1)

运行上面的Python脚本后，向量存储将被生成并保存在名为’vectorstore/db_faiss’的本地目录中，并为语义搜索和检索做好准备。

3.文本检索与LLM查询 Text Retrieval + Query LLM

from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

chat_model = ChatOpenAI(openai_api_key = "EMPTY", openai_api_base = "http://localhost:8000/v1", max_tokens=256)

qa_chain = RetrievalQA.from_chain_type(chat_model, retriever=vectorstore.as_retriever(search_kwargs={"k": 1}))
qa_chain({"query": "How to run the program in interactive mode?"})

构造RetrievalQA需要提供一个LLM的实例，我们提供基于本地部署的Llama2构造的ChatOpenAI；还需要提供一个文本的Retriever，我们提供FAISS向量数据库作为一个Retriever，参数search_kwargs={"k":1}设置了Retriever提取的文档分块的数量，决定了最终Prompt包含的文档内容的数量，在这里我们设置为1。
向Chain中传入询问，即可得到LLM根据Retriever提取的文档做出的回答。

自定义RetrievalQA的Prompt:

from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

template = """Use the following pieces of context to answer the question at the end. 
If you don't know the answer, just say that you don't know, don't try to make up an answer. 
Use three sentences maximum and keep the answer as concise as possible. 
Always say "thanks for asking!" at the end of the answer. 
{context}
Question: {question}
Helpful Answer:"""
QA_CHAIN_PROMPT = PromptTemplate.from_template(template)

qa_chain = RetrievalQA.from_chain_type(
    chat_model,
    retriever=vectorstore.as_retriever(search_kwargs={"k": 1}),
    chain_type_kwargs={"prompt": QA_CHAIN_PROMPT}
)
qa_chain({"query": "What is --interactive option used for?"})

from langchain.chains import LLMChain
from langchain_core.runnables import RunnablePassthrough
llm_chain = LLMChain(llm=chat, prompt=prompt)

query = "What is --interactive option used for?" 

retriever = vectorstore.as_retriever(search_kwargs={"k": 2})

rag_chain = ( 
 {"context": retriever, "question": RunnablePassthrough()}
    | llm_chain
)

rag_chain.invoke(query)

结论

本文介绍了如何在MacBook
Pro本地环境使用llama.cpp部署ggml量化格式的Llama2语言模型，并演示如何使用LangChain简单构造了一个文档Q&A应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享！

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】