构建一个以RAG技术为核心功能的基于自建知识库的本地大模型（二）环境搭建篇

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

随着人工智能的不断发展，大语言模型这门技术也越来越重要，很多人和企业都开始将大语言模型投入生产之中。本文开始将介绍基于自建知识库的本地大模型的具体实现方式。博主搭建了一个基于Langchain、Ollama、Chroma矢量数据库以及千帆大模型平台的框架示例。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、框架分工

• 利用Langchain库构建AI组件，负责处理自然语言理解和生成任务。
• 集成Ollama作为基础的聊天机器人框架，提供用户界面和交互逻辑。
• 使用Chroma矢量数据库存储与检索知识或上下文信息。这为自建知识库提供了储存空间并且有助于机器人在对话中保持连贯性，理解并记忆多次会话中的相关信息。
• 通过千帆大模型平台进行大模型微调，提高大模型效率。

二、Langchain下载

前提：你已经有python开发系统

#在终端中
pip install langchain
pip install langchain-community
pip install langchain-core 
pip install langchain-text-splitter
pip install langsmith

Langchain版本参考

名称	版本
langchain	0.2.9
langchain-community	0.2.7
langchain-core	0.2.21
langchain-text-splitters	0.2.2
langsmith	0.1.90

这是博主自己的版本仅供参考，并不强求一定要这个版本

如果下载过慢可能是因为没有科学上网可以使用镜像网站下载，推荐使用清华的镜像地址,例如：

pip install langchain -i https://pypi.tuna.tsinghua.edu.cn/simple

三、Ollama下载

下载请点击 Ollama官网

点击download，根据你自己的电脑系统选择下载版本，Mac系统就像普通的从网页下载的应用程序把它拖到应用程序中就可以了。
下载完成之后点击就可以在终端使用。

# 拉取模型
pull ollama qwen2
# 运行“qwen2”大模型
run ollama qwen2

Ollama中有很多大模型可以选择使用，比较常用的有meta（Facebook）开发的Llama系列，字节开发的qwen系列，更多模型可以看官网介绍（点击主页右上方的“Search Models”）
注意：嵌入模型例如nomic-embed-text只用拉取无法在终端使用
我们在代码中使用ollama中模型时，要保证ollama在打开状态

四、Chroma向量数据库使用

# 在终端
pip install chromadb  

我们直接使用Langchain中带有的chroma包

from langchain_community.vectorstores import Chroma

五、千帆大模型平台使用

点击前往千帆大模型官方平台

点击“立即使用”注册登录，进入后进行实名认证，开通付费服务，否则之后无法进行微调。平台具体使用教程见之后的博文。

总结

以上就是今天要讲的内容，本文展示了环境搭建的详细过程。