使用Llama 私有化模型检索文档回答问题

部署 Llama 模型

Llama 属于文字生成模型，可以用于聊天。使用 Ollama 部署 Llama 模型，先安装 Ollama

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

sudo chmod +x /usr/bin/ollama

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

配置 Ollama 服务 /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

修改 Ollama 服务监听的地址和端口号：

在[Service]部分添加一行：Environment="OLLAMA_HOST=0.0.0.0:您的端口号"。注意替换“您的端口号”为实际的端口号，默认端口号是 11434

启动 Olama 服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

使用 Ollama 拉取 Llama 模型

ollama run llama3.1

这样 Llama 模型成功启动，可以在终端和 Llama 语言模型对话了

部署 nomic-embed-text 文本嵌入模型

nomic-embed-text 模型可以将文字转为数字，含义相似词汇分值也接近。可以将他们存入向量数据库，根据相似度检索拿出相关文档。

有了 Ollama 模型，部署 文本嵌入模型就一条命令

ollama pull nomic-embed-text

测试 Llama 模型

先将我们上个文章 使用 openai 和 langchain 调用自定义工具完成提问需求 里的那个使用 langchain 框架，openai 作为模型，写得 由大模型决定调用的工具（计算器），拿到工具处理结果，回答用户提问的 程序，我们将它的模型从 openai 改成 我们刚刚私有化部署的 Llama 模型。

改动地方不多，将 

chat_model = ChatOpenAI()

改成

from langchain_community.llms import Ollama

chat_model = Ollama(base_url='http://localhost:11434', model="llama3.1")

这样 使用 openai 和 langchain 调用自定义工具完成提问需求 完整代码的 Llama实现如下：

from langchain_community.llms import Ollama

from langchain.agents import AgentType, initialize_agent
from langchain.tools.base import BaseTool

# 定义一个自定义工具类
class Calculator(BaseTool):
    name = "Calculator"
    description = "运行加减乘除运算的表达式"

    def _run(self, query: str):
        """Use the tool."""
        # 在这里实现您的自定义函数逻辑
        result = self.custom_function(query)
        return result

    async def _arun(self, query: str):
        """Use the tool asynchronously."""
        raise NotImplementedError("This tool does not support async")

    def custom_function(self, expression: str):
        """Your custom function logic goes here."""
        # 示例：将输入文本转换为大写
        return eval(expression)

# 创建工具实例
calculator = Calculator()

tools = [calculator]

chat_model = Ollama(base_url='http://localhost:11434', model="llama3.1")

# 初始化代理
agent = initialize_agent(tools, chat_model, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
response = agent.run("计算 10*10/2")

print(response)

 看不懂可参考我的上一篇文章 使用 openai 和 langchain 调用自定义工具完成提问需求

llama3.1 模型的运行结果如下：

使用向量数据库存储私有知识库 

在这个示例中，假设我们企业的私有知识存储在 https://developers.mini1.cn/wiki/luawh.html 这个链接对应的文档中，我们希望大模型能根据这个文档的内容，回答 “LUA 的宿主语言是什么？” 这个问题。事实上，我们企业的私有知识库非常庞大，将他们全部传入大模型，让他根据这些内容回答你的问题不太现实，于是需要一个向量数据库，企业的私有知识库存在向量数据库中，当需要回答问题时，先从私有知识库中，根据提问的关键词，找到分值最接近的相关文档，将这些相关文档传入大模型，让大模型基于这些回答你的问题。

也就是说，使用向量数据库是为了减少大模型阅读不必要的文字。在这里，使用上面私有化部署的 nomic-embed-text 这个模型完成文字到向量的转换，向量数据库使用 faiss，需要首先安装依赖包

pip install faiss-cpu

从网页加载文档

from langchain_community.document_loaders import WebBaseLoader
loader = WebBaseLoader("https://developers.mini1.cn/wiki/luawh.html")
data = loader.load()

对文档切割成块

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
splits = text_splitter.split_documents(data)

把切成块的文档，调用文本嵌入模型，拿到他的分值（向量）,存入 fsiss 向量数据库中。

from langchain.embeddings.ollama import OllamaEmbeddings
embedding = OllamaEmbeddings(base_url='http://' + host + ':11434', model="nomic-embed-text")

from langchain_community.vectorstores import FAISS
vectordb = FAISS.from_documents(documents=splits, embedding=embedding)

构造 RetrievalQA 链

from langchain_community.chat_models import ChatOllama
from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain.chains import RetrievalQA # RetrievalQA链

llm = ChatOllama(base_url='http://' + host + ':11434', model="llama3.1")

retriever_from_llm = MultiQueryRetriever.from_llm(retriever=vectordb.as_retriever(), llm=llm)

# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(llm,retriever=retriever_from_llm)

使用这个 QA 链回答问题

question = "LUA 的宿主语言是什么？"
result = qa_chain({"query": question})

print(result)

到此结束，运行结果如下：

---

---

总结：今天很开心，将大模型 Llama 和 nomic-embed-text 私有化部署，在纯内网的环境中实现了 RGA 流程，而不是浪费钱的去访问外网，关键是，体验效果还不错，机器配置要求也不是很高，gpu 一般就行。

---

---

MyPostMan: MyPostMan 是一款类似 PostMan 的接口请求软件，按照 项目（微服务）、目录来管理我们的接口，基于迭代来管理我们的接口文档，文档可以导出和通过 url 实时分享，按照迭代编写自动化测试用例，在不同环境中均可运行这些用例。